头像

余宙

学位: 博士

职务:

研究方向: 人工智能、多媒体分析

职称: 教授

毕业院校: 浙江大学

办公电话:

地址: 第3教学楼417室

邮编:

邮箱: yuz@hdu.edu.cn

个人简介

余宙,教授,国家优青,计算机学院学术副院长,博士生/硕士生导师,浙江省计算机学会副秘书长,中国计算机学会多媒体专委会委员,浙江省计算学会数字媒体专委会委员。研究方向包括多模态深度学习与推理、多模态预训练和大模型等。近年来共计发表高水平论文40余篇,其中IEEE/ACM 汇刊及CCF A类期刊、会议20余篇,包括CVPR、ICCV、ACM MM、IEEE T-NNLS、T-CSVT 等,谷歌学术引用4000余次,主持国家级项目3项,浙江省杰青项目等一系列重要课题,入选中国科协青年人才托举工程、获得浙江省自然科学一等奖(2/4)ACM新星奖(杭州)、浙江省高校领军人才培养计划等。

教育经历
  • 博士,2010-2015,计算机科学与技术,浙江大学

  • 本科,2006-2010,数字媒体技术,浙江大学

工作经历
  • 2015-2016,阿里巴巴,资深算法工程师

  • 2016-2018,raybet下赌注 ,讲师

  • 2019-2022,raybet下赌注 ,副教授

  • 2023-至今,raybet下赌注 ,教授

社会职务
  • 浙江省计算机学会副秘书长,2021-至今

  • 中国计算机学会(CCF)会员、CCF多媒体专委会、CCF计算机视觉专委会委员

  • 中国电子学会会员

  • IEEE Member

研究领域
教学与课程
  • 本科生

    • 创新实践

    • 人工智能导论


  • 研究生

    • 论文写作指导

纵向科研
  • 基于端到端统一建模的图像内容问答算法研究,国家自然科学基金青年项目,2018-2020,主持

  • 外部“数据-知识”联合增强的视觉问答方法研究,国家自然科学基金面上项目,2021-2024,主持

  • 可信跨媒体分析与推理,浙江省自然科学基金杰青项目,2022-2024,主持

  • 视觉问答,国家自然科学基金优青项目,2025-2027,主持


  • 跨媒体因果推断理论与方法,科技创新2030重大项目课题,2019-2021,参与

  • 基于大规模跨媒体知识网络的复杂视频问答方法研究,国家自然科学基金重点项目,2019-2023,参与

  • 基于新闻报道场景的AI辅助写稿机器人系统研发,国家重点研发计划,2021-2023,参与


横向科研

论文

[1]. Zhenwei Shao, Zhou Yu, Meng Wang, Jun Yu, “Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. [CCF A类会议]

[2]. Zhou Yu, Lixiang Zheng, Zhou Zhao, Fei Wu, Jianping Fan, Kui Ren, Jun Yu*, “ANetQA: A Large-scale Benchmark for Fine-grained Compositional Reasoning over Untrimmed Videos”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. [CCF A类会议]

[3]. Zhou Yu, Zitian Jin, Jun Yu*, Mingliang Xu, Hongbo Wang, Jianping Fan, “Bilaterally slimmable transformer for elastic and efficient visual question answering”, IEEE Transactions on Multimedia, 2023. [SCI 一区期刊]

[4]. Yuhao Cui, Zhou Yu*, Chunqi Wang, Zhongzhou Zhao, Ji Zhang, Meng Wang, Jun Yu, ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge, ACM International Conference on Multimedia (ACM MM), 2021. [CCF A类会议]

[5]. Zhou Yu, Yuhao Cui, Jun Yu*, Meng Wang, Dacheng Tao, Tian Qi, Deep Multimodal Neural Architecture Search, ACM International Conference on Multimedia (ACM MM), 2020. [CCF A类会议]

[6]. Zhou Yu, Jun Yu*, Yuhao Cui, Dacheng Tao, Tian Qi, Deep Modular Co-Attention Networks for Visual Question Answering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. [CCF A类会议]

[7]. Zhou Yu, Dejing Xu, Jun Yu*, Ting Yu, Zhou Zhao, Yueting Zhuang, Dacheng Tao, ActivityNet-QA: A Dataset for Understanding Complex Web Videos via Question Answering, AAAI Conference on Artificial Intelligence (AAAI), 2019. [CCF A类会议]

[8]. Zhou Yu, Jun Yu*, Chenchao Xiang, Jianping Fan, Dacheng Tao, Beyond Bilinear: Generalized Multimodal Factorized High-order Pooling for Visual Question Answering, IEEE Transactions on Neural Networks and Learning Systems (T-NNLS), 29 (12): 5947-5959, 2018. [SCI一区,ESI高被引]

[9]. Zhou Yu, Jun Yu*, Chenchao Xiang, Zhou Zhao, Qi Tian, Dacheng Tao, Rethinking Diversified and Discriminative Proposal Generation for Visual Grounding, International Joint Conference on Artificial Intelligence (IJCAI), 2018. [CCF A类会议]

[10]. Zhou Yu, Jun Yu*, Jianping Fan, Dacheng Tao, Multi-modal Factorized Bilinear Pooling with Coattention Learning for Visual Question Answering, International Conference on Computer Vision (ICCV), 2017. [CCF A类会议]

科研成果
  • 基于端到端统一建模的图像内容问答算法研究,国家自然科学基金青年项目,2018-2020,主持

  • 外部“数据-知识”联合增强的视觉问答方法研究,国家自然科学基金面上项目,2021-2024,主持

  • 可信跨媒体分析与推理,浙江省自然科学基金杰青项目,2022-2024,主持

  • 视觉问答,国家自然科学基金优青项目,2025-2027,主持


  • 跨媒体因果推断理论与方法,科技创新2030重大项目课题,2019-2021,参与

  • 基于大规模跨媒体知识网络的复杂视频问答方法研究,国家自然科学基金重点项目,2019-2023,参与

  • 基于新闻报道场景的AI辅助写稿机器人系统研发,国家重点研发计划,2021-2023,参与


荣誉及奖励
  • 图像异构模态计算理论与方法,浙江省自然科学一等奖,2020,个人排名:2/4


软件成果
著作
专利成果
  • 一种基于多模态低秩双线性池化的图像内容问答方法,发明专利,专利授权,201710611041.8, CN 107480206 B,2020-06-12,计算机学院(软件学院),俞俊

  • 一种基于模态内间协同多线性池化的视频时序定位方法,发明专利,专利申请,201911063010.9,计算机学院(软件学院),余宙

  • 基于领域自适应神经网络的自动驾驶转向角度预测方法,发明专利,专利申请,201911102180.3,计算机学院(软件学院),余宙

  • 一种基于非对齐多视图特征增强的图像描述方法,发明专利,专利申请,201910615360.5,计算机学院(软件学院),俞俊

  • 一种基于多目标关联深度推理的图像问答方法,发明专利,专利授权,201910398140.1,CN110263912B,2021-02-26,计算机学院(软件学院),余宙

  • 一种基于深度关系自注意力网络的场景图生成方法,发明专利,专利申请,202011500013.7,计算机学院(软件学院),余宙

  • 一种面向通用多模态学习的神经框架搜索方法,发明专利,专利申请,202011300717.X,计算机学院(软件学院),余宙

  • 基于知识引导深度注意力网络的场景文字视觉问答方法,发明专利,专利申请,202110896688.6,计算机学院(软件学院),余宙

  • 一种基于自监督预训练的场景图生成方法,发明专利,专利申请,202110151201.1,计算机学院(软件学院),俞俊

  • 一种基于时序特征金字塔的视频密集描述生成方法,发明专利,专利申请,202110558847.1,计算机学院(软件学院),俞俊

  • 一种基于多样鉴别性候选框生成网络的针对视觉定位方法,发明专利,专利授权,201811305577.8,CN109712108B,2021-02-02,计算机学院(软件学院),俞俊

  • 一种面向视障人群的场景文字交互式理解系统,发明专利,专利申请,202111491972.1,计算机学院(软件学院),余宙


最新更新