我院开展“多模态情感分析研究”学术讲座

2024年1月8日，51五湖四取四海之财邀请南京信息工程大学贾莉博士开展了主题为“多模态情感分析研究”的专题讲座。学院党总支书记林天飞、副院长潘家辉出席了本场讲座。讲座由副院长潘家辉教授主持，学院各年级研究生参加。

贾莉博士从所指导的研究生的研究课题、科研团队的研究成果以及当前自身的研究工作三项内容分别展开报告，介绍了自然语言处理中跨模态联合编码、特征辅助增强、多模态情感粗粒度和细粒度等方面的内容。贾莉博士指出，多模态是指融合不同模态的数据如文本、图像、视频等来准确地理解用户的情感状态.然而，由于不同模态数据之间的差异性，传统的多模态情感分析方法在有效捕捉情感特征方面存在一定的挑战,特征辅助增强可利用额外的特征信息来增强模型的性能和泛化能力。

在讲座中，贾莉博士强调，粗粒度分类旨在将文本或其他模态数据分为几个高级情感类别，如积极、消极或中性。而细粒度分类则旨在进一步细分每个高级情感类别，使情感分类更加细致和准确。除了文本信息，配图和视频素材也是重要的情感传达源。传统自然语言处理方法仅依赖于文本内容进行情感分析，而多模态情感分析则能够同时考虑图像和音频数据，从而获取更全面的情感信息。

在提问环节，贾莉博士与研究生就自然语言处理在情感分析方面的课题内容进行了深入交流。贾莉博士指出，多模态情感分析的研究为自然语言处理领域带来了新的发展机遇，通过利用多种模态数据的融合，研究人员可以更准确地捕捉到文本背后的情感和情绪变化。

最后，潘家辉教授对此次讲座进行了总结，并再次感谢贾莉博士为学院师生带来了具有启示作用的专题讲座。讲座在热烈的掌声中圆满结束。

撰稿：陈悦

审稿：邱双惠、余松森