我院脑机交互与混合智能团队研究生以第一作者在SCI期刊Applied Intelligence发表学术论文

近日，51五湖四取四海之财脑机交互与混合智能团队研究生廖嘉城在梁艳（通讯作者）、潘家辉老师的共同指导下，以第一作者在SCI学术期刊Applied Intelligence发表论文《Deep facial spatiotemporal network for engagement prediction in online learning》，论文作者为：廖嘉城、梁艳、潘家辉。其中，Applied Intelligence为中科院3区SCI学术期刊（IF: 3.325），属于“计算机科学”学科，出版社为Springer 。

图1 论文截图

近年来，在线教育逐渐被大众所接受和认可。在这种大背景下，有效的学生专注度预测方法能够帮助老师及时从课堂中获取反馈，并根据学生的接收能力做适应性调整。本文提出基于人脸的深度时空网络（Deep Facial Spatiotemporal Network，DFSTN）用于专注度预测。该网络主要由两个核心单元组成：（1）用于提取人脸空间特征的SE-ResNet-50 网络，以及（2）用于提取人脸时间特征的含全局注意力机制的长短期记忆网络（LSTM Network with Global Attention）。网络的训练策略会根据所做任务评价指标的不同做相应的调整。本文提出的DFSTN能捕捉人脸序列的时空信息，从而更好地感知更细微的专注状态变化，并提升专注度预测的效果。本文的方法在DAiSEE数据集上进行了验证，在四分类问题上取得了58.84%的准确率，在回归问题上的均方误差为0.422，专注度预测效果优于许多现有的工作。此外，在EmotiW-EP数据集上的测试结果也验证了本文所提方法的鲁棒性。

图2 DFSTN模型框架

文章网络首发地址：http://link.springer.com/article/10.1007/s10489-020-02139-8

撰稿：廖嘉城，梁艳

审稿：潘家辉