多模态多任务通用大模型“书生2.5”发布 具备通用场景下高级感知和复杂问题处理能力
3月14日,多模态多任务通用大模型“书生(INTERN)2.5”发布。
凭借在多模态多任务处理能力方面多项突破,“书生2.5”的图文跨模态开放任务处理能力可为自动驾驶、机器人等通用场景任务提供高效精准的感知和理解能力支持,向通用人工智能迈出坚实的一步。
记者获悉,即日起,“书生2.5”多模态通用大模型已在通用视觉开源平台OpenGVLab开源。
(资料图片仅供参考)
灵活定义不同场景任务需求
当今快速增长的各式应用需求下,传统计算机视觉已无法处理真实世界中数不胜数的特定任务。人们迫切需要一种具备通用场景感知和复杂问题处理能力的高级视觉系统。
“书生”由商汤科技、上海人工智能实验室、清华大学、香港中文大学、上海交通大学于2021年11月首次共同发布,并持续联合研发。“书生2.5”实现了通过文本来定义任务,从而可以灵活地定义不同场景的任务需求,并根据给定视觉图像和任务的提示性语句,给出相应的指令或作答,进而具备通用场景下的高级感知和复杂问题处理能力,比如图像描述、视觉问答、视觉推理和文字识别等。
研发人员介绍,在自动驾驶和居家机器人等通用场景下,“书生2.5”可辅助处理各种复杂任务。例如,在自动驾驶场景中可以大幅提升场景感知理解能力,准确辅助车辆判断交通信号灯状态、道路标志牌等信息,为车辆决策规划提供有效信息输入。
除解决自动驾驶和居家机器人这类复杂问题的能力,“书生2.5”通用大模型也可解决纷繁复杂的日常生活中的常见任务,满足各种需求。
此外,“书生2.5”同时具备AIGC(人工智能生成内容)“以文生图”的能力。可根据用户提出的文本创作需求,利用扩散模型生成算法,生成高质量、自然的写实图像。例如,借助“书生2.5”的以文生图能力帮助自动驾驶技术研发,通过生成各类真实的道路交通场景,如繁忙的城市街道、雨天拥挤车道、马路上奔跑的狗等,进而训练自动驾驶系统对场景的感知能力上限。
高效能打通多模态任务处理
记者了解到,“书生2.5”拥有30亿参数,是目前全球开源模型中ImageNet准确度最高、规模最大,同时也是物体检测标杆数据集COCO中唯一超过65.0 mAP的模型。
“书生2.5”在图文跨模态领域卓越的性能表现来自于视觉、语音及多任务建模三大模型能力的有效融合,即InternImage-G通用视觉大模型、用于文本理解的超大语言预训练模型和用于多任务的兼容解码建模大模型。
其中,InternImage-G通用视觉大模型能够自适应地调整卷积的位置和组合方式,从而为多功能视觉感知提供强大的表示;超大语言模型通过在超大规模丰富文本语料库上进行预训练提供强大可靠的文本特征;而兼容解码建模大模型通过将不同模态的数据编码到统一的表示空间,将不同任务统一为相同的任务范式,从而能够以相同的架构和共享的模型参数同时处理各种模态和任务。
值得一提的是,在视觉主流图像分类数据集ImageNet上,“书生2.5”仅基于公开数据便达到90.1%的准确率。这是除谷歌与微软之外,唯一准确率超过90.0%的模型——而谷歌与微软均未公开模型及额外数据集。该模型也在包括图像分类、物体检测、语义分割、图像描述、图文检索等20多个不同场景、不同任务的单模态和跨模态公开数据集中都取得了最佳成绩。
当前,“书生”还在持续学习、不断进步,致力于推动多模态多任务通用模型技术的突破,驱动通用人工智能技术的创新应用生态,为推动人工智能学术、产业发展作出贡献。
新民晚报记者 郜阳
标签:
精彩推送
焦点资讯:1206电阻功率有没有1/2瓦_1206电阻功率
1、1206是电阻的外形尺寸,这个规格有金属膜,测量膜,金属箔等等类型,其功率不一样,建议查看相应数据手册...
遭左脚跟腱撕裂 克拉克更新Ins:我将以更强势的姿态重归赛场!
直播吧3月5日讯今日,灰熊官方宣布球队前锋克拉克遭遇了左脚跟腱撕裂,将无限期缺阵。克拉克更新Ins写道...
当前快报:详解卫冕冠军杀回来:勇三疯再现联盟第一 新星崛起无库近11战7胜
详解卫冕冠军杀回来:勇三疯再现联盟第一新星崛起无库近11战7胜,勇士,库里,湖人,维金斯,勇三疯,新奥尔良鹈鹕
新闻快讯
X 关闭
X 关闭
新闻快讯
- 多模态多任务通用大模型“书生2.5”发布 具备通用场景下高级感知和复杂问题处理能力
- 跖趾怎么读拼音是什么(跖趾怎么读)
- 天天新消息丨3月14日基金净值:华商恒益稳健混合最新净值1.057,跌0.32%
- 环球观点:备受期待的王国之心黑暗之路将在iOS和Android上推出
- 华夏保险汉中中支开展“梦想绽放,巾帼奋斗正当时” 三八妇女节特别活动 每日热讯
- 【天天聚看点】得润电子董秘回复:公司在OBC、DC/DC、高低压分电模块等产品项目均有布局
- 世界观天下!03月14日10时江苏宿迁昨日累计报告阳性感染者确诊100例 怎么判断自己是否属于轻型感染者
- 热点!农产品:阶段性天气扰动仍存,机构继续调降阿根廷产量
- 亲子家园妇儿百货_亲子家园
- 火电厂集控运行介绍_火电厂集控运行是干什么的
- 当前热门:奇安信: 奇安信关于持股5%以上股东权益变动超过1%的提示性公告
- 消息!美国得州一放射性装置丢失 当地官员发出警告
- 马克思名人名言大全摘抄小学(马克思的名人名言)
- 漠然漠然 漠然是什么意思 天天动态
- 远光软件盘中异动 股价振动8.7% 上涨7.11%-全球讯息
- 世界快讯:(科技)通讯:核污染水排海计划冲击福岛渔民生计
- 天天热点!圣诺医药-B(02257.HK):SVB事件将不会对集团营运、业务、财务状况及履约责任的能力产生任何重大影响
- 环球观焦点:山东济南 一女患者在医院大厅因呼吸困难突然晕倒在地,消防员一把抱起送诊
- 微经典书系:初中数学必会知识 全球时快讯
- 全球快消息!方眼网目数丝径对照表_方眼网
- 小学英语教学案例及分析及反思_小学英语教学案例论文-全球最资讯
- 当前消息!电脑桌面图标不显示名字(电脑桌面图标不显示)
- 天天速看:走马简谱教唱(走马简谱)
- 网络接口怎么接线图解_网络接口怎么接线
- 图片png和jpg哪个清晰_png和jpg哪个清晰 全球通讯
- 当前热文:实况足球手游三换一规则_实况足球手游三换一规则
- 云技术是什么
- 长安星光
- 每日时讯!遇到挂机的我能忍!遇到送人头的我也能忍!遇到这样的没法忍!
- 微头条丨电脑系统还原要多久_电脑系统还原
- 紫果云杉_关于紫果云杉介绍
- 伦敦黄金地段房价预计将在2023年下跌3% 今热点
- 当幸福来敲门英文观后感100字_当幸福来敲门英文观后感-天天观焦点
- 达成“长江禁渔”共识,沪太联合跨省巡航打击非法捕捞|全球观点
- 世界热点评!03月10日14时海南三亚昨日累计报告阳性感染者确诊6933例 怎么判断自己是否属于轻型感染者
- 开放后场操作间,华润苏果为市民打造安心厨房
- 当前速看:漂亮的荷花壁纸_漂亮的女房东
- 动态焦点:研究表明:比起广告 法国年轻人网购时更信网红
- 太阳官宣杜兰特将在三周后接受复查|环球聚看点
- 天天热门:费玉清综艺节目我们来了完整版_费玉清综艺节目
- 今日报丨vivo手机手电筒快捷方式_vivo手机手电筒快捷键
- 脚崴了是热敷还是冷敷消肿_脚崴了是热敷还是冷敷
- 当前关注:仓库物料怎样编号_仓库物料编码怎么编
- 宁波市镇海区人才网官网_宁波市镇海区人才网|天天时快讯
- 驱灵师(驱灵师)
- 丹尼-罗斯:热刺训练场最好?有最好的房子没有最好的家具没意义 每日消息
- 997788中国收藏网官网下载连环画网网|当前快报
- 反犬旁跟什么有关_反犬旁与什么有关系
- 全球热资讯!组图:辽宁男篮大胜上海 莫兰德强攻王哲林
- 申请劳动仲裁什么时间裁决_天天速看