基于多模态类脑强化学习的微视频内容理解技术研究
发布时间：2021-08-10
信息来源：北京市科技成果信息系统
字体：
大
中
小
打印
发布时间：2021-08-10
信息来源：北京市科技成果信息系统
- 类脑智能;多模态;微视频;强化学习
基本信息
所属科技项目名称：基于多模态类脑强化学习的微视频内容理解技术研究
项目主管部门：北京市科学技术委员会、中关村科技园区管理委员会
科技成果信息
科技成果名称：基于多模态类脑强化学习的微视频内容理解技术研究
关键词：多模态; 强化学习; 类脑智能; 微视频; 事件 识别
科技成果类型：原始创新
科技成果所处阶段：其他
科技成果应用领域：文化、体育和娱乐业
科技成果简介：多模态类脑强化学习借鉴人脑基于突触重塑的小样本学习机制，结合多模态融合网络与导向性强化学习方法, 能够解决传统深度学习 的大样本依赖和多模态信息表征能力弱的问题,将在复杂异构信息 内容分析与理解方面发挥核心作用。
当前海量的时长短、非专业拍摄、多模态化的微视频在社交网络平 台上传播，亟需有效的微视频内容理解技术来满足网络信息服务、 网络舆情监测等应用需求；但是，由于缺乏大规模训练样本和有效 的多模态信息表征模型，微视频内容理解的精度较低。多模态类脑 强化学习为解决微视频内容理解难题提供了可能的技术手段。 Google公司基于强化学习研发了著名的 Alpha Go系统，在围棋竞赛 中击败了人类，引发了人工智能的第三次复兴，推动了强化学习的 技术跨越，但是国内外在如何利用强化学习分析异构多模态信息方 面的研究尚属空白。
针对传统深度学习的大样本依赖和多模态信息表征能力弱的问题， 本课题提出了仿突触重塑机制的多模态类脑强化学习模型，包括以下核心技术：1）基于深度强化学习的事件要素检测；2）基于深度强 化学习的事件时序聚焦；3）基于自监督学习的多模态静态融合；4） 基于深度强化学习的多模态动态融合；5）融合事件识别与事件注释的 多网络联合学习。研发基于多模态类脑强化学习的微视频内容理解系 统，实现网络环境下微视频中复杂事件的智能理解与自动注释，提升网络微视频复杂语义事件的智能识别精度，为网络视频个性化推 荐、智能检索、内容审核等智能信息服务提供关键技术支持，并推动北京市在类脑智能领域的知识创新。
相关人物
