“紫东太初”全模态大模型发布 AI听《月光曲》就能聊贝多芬

【资料图】

透过《月光曲》就可以畅谈贝多芬的故事，在三维场景里实现精准定位，通过图像与声音结合完成场景分析……6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所联合武汉人工智能研究院正式发布“紫东太初”全模态大模型，种种新奇表现赢得现场观众热烈反响。

“紫东太初”全模态大模型，是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本。

2021年9月，中国科学院自动化研究所成功打造了“紫东太初”1.0多模态大模型，贯通语音、图像、文字等信息。比如，AI（人工智能）在学习时，“看到”猫的图像或者听到猫的叫声，就能准确识别出是猫。

除“图-音-文”外，“紫东太初”2.0加入了视频、传感信号、3D点云等更多模态，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。

中国科学院自动化研究所相关负责人表示，从1.0到2.0，“紫东太初”大模型打通了感知、认知乃至决策的交互屏障，使人工智能进一步感知世界、认知世界，从而延伸出更加强大的通用能力。

“紫东太初”2.0以自动化所自研算法为核心，以国产化基础软硬件平台昇腾AI为基础，依托武汉人工智能计算中心算力支持，着力打造全栈国产化通用人工智能底座，协同构建我国通用人工智能自主可控发展生态。

目前，“紫东太初”大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列引领性、示范性应用。

在医疗场景，“紫东太初”大模型部署于神经外科机器人，可实现在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断，并尝试在人类罕见病诊疗这个挑战性医学领域有所突破。