百度AR | AR技术部 - 虚实融合,创所未见
SDK核心能力
SLAM
跨平台兼容iOS与Android系统,支持主流高中低端机型,支持设备总量超十亿。具备初始化快捷、交互简单优势。
人脸互动与特效
依赖于人脸三维姿态的实时估计和高精度人脸关键点检测,实现三维动态场景和人脸的实时融合,可定义丰富的表情触发规则;并基于人脸皮肤运动跟踪能力,将AR特效与人脸皮肤深度融合,打造人脸美型、美妆、道具以及3D动画表情等丰富人脸特效。
肢体互动与特效
移动端实时肢体骨骼点/轮廓点检测,支持18点/59点不同输出方式,跨平台兼容iOS/Android/Windows等主流终端设备,适用于肢体游戏或实时美体瘦身、全身特效等特效场景。
环境特效
完备的环境特效能力矩阵,包括人像分割、天空分割、头发分割、物体检测等多项算法能力,打造人像与虚拟环境的自然融合,支持人像背景替换、染发、天空特效、动画叠加及更多视频创意特效的组合。
DuMix AR SDK
基础版
商用版
能力类别 能力点 能力说明
界面 UI界面自定义 不限制界面布局,可灵活自定义UI界面。
环境感知和跟踪 本地图像识别 通过本地相同图检索触发AR场景,本地部署方案约可支持1000张识别图。
云端图像识别 通过云端相同图检索触发AR场景,云端部署方案不限制识别片数量。
图像跟踪(2D tracking) 通过图片特征点实时检测,实现运动状态下的稳定跟踪。
即时跟踪(单目SLAM) 通过即时跟踪,实现实景中3D物品放置,用于虚拟形象和物品展示互动。
空间方位感知(IMU) 通过手机陀螺仪(IMU),实现手机姿态实时检测和周围空间方位的感知。
ARKit平面检测和跟踪 iOS端支持调起ARKit能力,实现水平和竖直平面检测和跟踪。
AI人机交互和对话 语音识别 调起百度开放的语音识别能力,用于AR场景中识别用户的语音指令。
语音合成(TTS) 调起百度开放的语音合成(TTS)能力,用于AR场景中文本信息转语音播报。
3D互动和特效渲染 渲染系统 支持Pod/GLTF模型、图片、音视频、全景图等格式素材的渲染。
材质系统 支持Pod模型的phong材质效果,支持GLTF模型的PBR材质效果。
动画系统 支持读取Pod/GLTF模型动画;支持模型刚体动画,包括平移、缩放、旋转等。
粒子系统 支持粒子效果配置,实现樱花雨、孔明灯、喷火、云雾等粒子特效。
滤镜系统 支持8*8色卡色彩风格滤镜,可按素材场景需求独立配置。
互动系统 支持joystick虚拟摇杆,封装常用点击、划屏等手势功能,支持自定义触屏交互。
物理系统 支持速度、加速度、力、碰撞检测、射线、刚体约束等能力,实现AR物理小游戏。
音/视频播放 支持本地及网络音视频播放,格式包括mp3、mp4,以及HLS协议直播流。
脚本系统 支持lua脚本开发,可基于API自定义逻辑处理、互动玩法等。
SDK基础功能 拍摄和录制 支持AR特效照片拍摄和微视频录制,可存储至本地相册或分享至社交网络。
机型屏蔽 反馈不支持机型信息,供客户端进行入口级或功能级屏蔽。
外链跳转 支持配置URL外链。
能力类别 能力点 能力说明
人脸特效 人脸检测及跟踪 精准定位脸部150个特征点,实现大角度人脸姿态追踪,适应多种复杂光线,支持暗光、强光、曝光的自由转变
2D/3D人脸贴纸 实现丰富的2D/3D面部贴纸
皮肤贴纸 精准贴合皮肤的贴纸
人脸变形 可产生趣味性,搞怪性的形变,如翠花、外星人等
表情动作触发 五官可触发动效,包括挑眉、眨眼、瞪眼、张嘴、点头等
3D动画表情 运用人脸关键点识别与追踪将面部表情实时映射到动画形象
美化及滤镜 支持美白/磨皮,大眼/瘦脸等 实现脸部美白/磨皮,大眼/瘦脸等效果
五官精准塑形 实时动态调节脸型、眼镜、嘴巴、五官比例,提供瘦脸、大眼、瘦鼻、瘦下巴等16种塑形效果
精细化美妆 实现口红、眼影、眉毛、腮红、眼线、睫毛、美牙、双眼皮、美瞳功能
头发染色 将头发与人脸、背景等进行区分,可支持纯色、渐变、粒子等头发染色效果
支持自定义滤镜 支持多种滤镜的自定义和调节
手势肢体 多种手势实时检测 支持比V、点赞、OK、单手比心、食指比1、握拳、手掌、指尖点的检测和跟踪
手势特效 基于不同手势的特效和展示
肢体特效 实时检测、跟踪肢体关节点,精准定位肢体各部位的动作,实现跺脚触发闪电,头顶乌云等效果。
肢体小游戏 肢体小游戏:肢体切水果等
环境特效 粒子特效 粒子特效能模拟现实中的雨、雪等自然景观以及光环、火焰等游戏特效,各种效果灵活可配置。
天空顶特效 360°空间氛围渲染
SLAM 将模型直接放置在真实环境中,移动手机靠近模型时有近大远小的效果
人像分割 将人体与环境进行分割,可以分别变换人体和环境特效
天空分割 融合了场景分割 、场景定位、全景跟踪多项技术,实现了移动端的实时天空语义识别和分割,对天空区域进行动态的特效渲染
合作咨询
联系我们
能力展示
免费下载

使用流程

1.创建应用授权

正式授权,需在百度云注册账号并完成实名认证

2.下载SDK

按照开发环境和所需选择下载DuMix AR SDK

3.跑通AR Sample

实现AR功能,跑通AR Sample

4.集成/部署APP

将DuMix AR SDK部署到您的APP

5.制作AR内容

进入AR内容平台进行内容制作和分发

友情提示:
每个百度账号限100个应用授权,授权可在SDK基础版和Unity版通用,授权接口为调起AR,每应用可免费调用100,000次/天。
授权成功后自动开通AR内容平台使用权限,基础版基于百度AR渲染引擎,免费提供AR内容编辑器,并可免费使用AR内容平台提供的内容存储和分发服务,无需开通百度云BOS存储和CSN内容分发服务,不保证并发。
如需商用提升调用次数和内容分发能力,可进行合作咨询,请发送邮件至ar_business@baidu.com邮箱,说明需求。
开发文档
Android
开发文档
联系我们

    关于我们

  • 联系我们

百度AR微信公众号

百度AR微博

    
扫描二维码
下载DuMix View App
确定
    
填写信息获取使用权限
*姓名/称呼
*联系方式
取消
提交后获得二维码
填写信息获取使用权限
Android版,iOS用户敬请期待
关闭
联系我们
*请选择您的身份
请选择
设计师
广告主
服务商
开发者
硬件合作商
景区代理
企业客户
教育机构与出版社
汽车厂商
其他
*请选择您想要了解的应用场景
请选择
AR娱乐互动解决方案
智能营销解决方案
智能设备解决方案
景区行业应用方案
教育行业应用方案
汽车行业应用方案
其他
*姓名/称呼
*联系方式
*邮箱地址
*我们可以帮助您什么
带*为必填项
取消
提交
提交成功
提交失败