复旦大学邱锡鹏教授应邀莅临我院开展学术讲座

11月25日晚，复旦大学科学技术学院博士生导师邱锡鹏教授为我院师生带来题为“自然语言处理中的自注意力模型”的学术讲座。我院党总支书记林天飞、院长曾碧卿、副院长余松森、青年教师梁军、刘帅及本院全体研究生参加讲座。讲座由院长曾碧卿教授主持。

    讲座伊始，邱锡鹏教授指出近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，并且自注意力模型（比如Transformer）在自然语言处理领域取得了广泛的成功。随后开始介绍当前主流的自注意力模型方面的一些工作，主要覆盖两部分内容： 1）Transformer及其改进模型：通过分析Transformer的基本原理和优缺点，提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2）Transformer模型的应用：将Transformer模型应用在文本分类、实体名识别等自然语言任务上，并通过针对性的改进来进一步提高性能。最后，对Transformer模型及其未来发展趋势进行展望。

讲座结束，邱锡鹏教授的报告引起了与会师生的思考，问答环节就数据集语句分析与处理问题、NLP语句歧义、语义分析等多方面的问题进行了深入和热烈的讨论，余森松副院长与邱锡鹏教授在学业提升方面进行亲切问答交流。

讲座结束后，曾碧卿院长代表全体师生向邱锡鹏教授表示诚挚的感谢，并邀请邱锡鹏教授与同学合影留念。

撰稿：蔡旭刚

审稿：邱双惠