基于帧推荐算法的交互式视频目标分割框架图

设计艺术学院张汗灵教授团队论文《Learning to Recommend Frame for Interactive Video Object Segmentation in the Wild》在2021年度IEEE 国际计算机视觉与模式识别会议 (IEEE Conference on Computer Vision and Pattern Recognition，简称CVPR）上发表。

国际计算机视觉与模式识别会议（CVPR）是由IEEE主办的计算机视觉、模式识别及人工智能等领域最具影响力和最重要的国际顶级会议，是中国计算机学会（CCF）推荐的 A类国际会议，谷歌正式发布了2020年的学术指标（Scholar Metrics）榜单，在最新一期排名中，CVPR成为了AI 领域排名第一的大会。CVPR每年都吸引全球众多顶尖科研工作者投稿，其录用论文指引着计算机视觉和模式识别领域未来的研究方向。CVPR官网显示，本次会议共收到有效投稿7015篇，最终录用1663篇，录用率为23.7%。

交互式视频目标分割任务旨在基于尽可能少的交互次数，实现尽可能好的分割效果，所以在每次与标注者的交互中，选取恰当的交互关键帧是非常重要的。本文研究者提出将关键帧选择问题建模为一个马尔可夫决策过程，通过强化学习框架，让一个智能体学习如何有效地推荐关键帧，而不对现有的视频目标分割算法进行任何改变。在公开数据集上的实验结果显示，该方法优于当前广泛采用的最差帧选择策略，同时在时间和性能上都优于人工标注。

信息科学与工程学院2017级博士研究生尹兆远为该论文的第一作者，指导教师张汗灵教授为通讯作者，同时该项工作是与上海科技大学高盛华教授共同指导下合作完成，该研究得到了国家重点研发计划、国家自然科学基金、湖南省重点研发计划、上海“曙光计划”项目的科研资助。

该项工作体现了设计艺术学院“新工科、新设计”的科研工作已得到国际上的广泛认可，反映出学院十四五规划围绕“如何面向科技前沿、面向国家重大需求”的主题，在鼓励科研创新，开拓国际视野，与国际接轨上取得了新进展。

本论文的数据、代码和预训练模型链接：https://github.com/svip-lab/IVOS-W/，论文链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Yin_Learning_To_Recommend_Frame_for_Interactive_Video_Object_Segmentation_in_CVPR_2021_paper.pdf

责任编辑：李佳琳