ai皇冠的明珠:nlp新突破,多任务学习

导读:自然语言处理 NLP 一直都是人工智能领域的皇冠明珠,其中部分感知智能应用,如语音识别、文本识别技术已很成熟,而涉及认知智能的应用,如语义分析、自动问答等还未出现实用性很强的模型。随着深度学习的快速发展和演变,2018年NLP 领域迎来较多突破性进展,而多任务学习也是其中最有前景的一块。

    Salesforce: The Natural Language Decathlon: Multitask Learning as Question AnsweringSalesforce 通过其Einstein AI 平台推出能解决十项自然语言任务的MQAN 模型。在使用多任务问答模型对其进行测试时,单个模型在没有任何特定参数或模块的情况下可联合学习和处理不同的任务。而且令人印象深刻的是,多任务模型甚至有时胜出单独执行某任务。这不仅意味着数据科学家不再需要为每个任务建立、训练和优化单独的模型,还意味着该模型将具有zero-shot 学习能力。

    Open AI: Language models ae unsupervised multitask learners当前,构建机器学习系统的主流方法是监督学习——收集数据,也即喂给模型一套“理想的”输入和输出组合,让模型模仿“套路”,在新的测试数据集上也给出类似的结果。这种方法在特定领域任务上表现很好,但缺点是一旦改为其他任务,比如将在问答数据集上表现很好的模型用到阅读理解上,模型就无法适应。对此,OpenAI 的研究人员认为问题主要在于原模型局限在特定领域的数据集做特定任务的训练。在改进了该问题的基础上,研究人员进一步使用自注意力模块迁移学习,得到了一个无需调整任何参与或模型结构,在 zero-shot 情况下能够执行多项不同NLP 任务的模型GTP-2Hugging Face: A Hierarchical Multi-task Approach for Learning Embeddings fromSemantic Tasks研究团队为一组相互关联的NLP 任务引入了一种多任务学习方法:命名实体识别,实体指代识别,共指消解和关系提取。他们证实,以分层方式训练的单一模型可以解决上述的四项任务。此外,与单任务模型相比,多任务学习框架显着加快了训练过程。分层多任务学习模型(H 多任务学习)在四个任务中的挑战了其中三个最先进的结果,即命名实体识别,关系提取和实体指代检测任务。与单任务模型相比,多任务学习框架大大加快了训练速度。

    多任务学习有望成为NLP 的主要训练方法。三家企业在多任务学习方面的领先实践,有助于加速NLP应用落地的速度,也有助于开发认知级别的NLP 应用。