“数理讲堂”2024年第43期: 基于文本语义增强的跨模态问答

发布时间:2024-11-26 供稿:数理与统计学院 分享至:

主题:基于文本语义增强的跨模态问答

时间:11月28日 10:00-11:30

地点:腾讯会议(会议号:214 987 969)

主持人:方红

报告人简介:

张小旺,天津大学智能与计算学部教授,博导,北京大学理学博士,比利时哈瑟尔特大学博士后,天津市认知计算与应用重点实验室副主任。研究方向包括知识图谱,自然语言处理,软件安全等。主持国家级纵向、校企横向课题等十余项。近年来,在AAAI,IJCAI,ACL,ASE,ICDT,ISWC,EMNLP,COLING,TOSEM,JAIR,Sci. China Inf. Sci.,《计算机学报》《软件学报》等国内外学术期刊会议发表论文多篇。获得天津市科技进步一等奖、ACM天津新星奖等荣誉。

讲座简介:

跨模态问答属于计算机视觉与自然语言处理的交叉方向,旨在根据图像内容回答自然语言提出的问题。跨模态问答基于图像理解、语言解析、知识推理等多个方面技术,而模态之间异构鸿沟是挑战之一。

报告将介绍通过文本语义增强方式减弱模态鸿沟带来影响,分别在封闭域(课本知识问答)和开放域(社交常识知识问答)两个场景,通过预训练模型和大语言模型,探索跨模态问答中差异性推理方式。报告最后总结在多模态大语言模型背景下面临挑战点。

打印
上一篇:下一篇: