首页 > 科技 > 互联网 > 正文

2020 Google 开发者大会:多项 ARCore 更新带来AR开发全新可能!
2020-12-01 16:26:20   来源:   评论:0 点击:

疫情背景下,Google 为了与本土开发者相聚,GDS 2020(Google 开发者大会)搬到线上,以代码不止为主题,14+ 产品线,50+ 精彩技术演

疫情背景下,Google 为了与本土开发者相聚,GDS 2020(Google 开发者大会)搬到线上,以“代码不止”为主题,14+ 产品线,50+ 精彩技术演讲,70+ 技术专家,6 天技术演讲满满干货。ARCore 压轴出场,着重介绍了今年新推出的两项AR领域的重磅功能 : Depth API(深度 API)以及持久云锚点(Persistent Cloud Anchors)技术,搭载引人入胜的精彩展示,带你感受科技为生活带来的无限可能。

Google 发布于2018年的 ARCore 是增强现实技术开发者的平台,为 Android 和 iOS 用户创造有效的 AR 体验。目前该技术已支持7亿台以上的设备,被应用成千上万款 APP 上,并且持续成长中。

11月16日的 Keynote 演讲,以及11月21日的两场会议围绕“ ARCore 新功能”和“深度 API 实现 AR 真实感”两大主题,介绍了 ARCore 在技术上的新进功能,在环境景深理解上的进阶技术探索,以及与本地开发者的创新合作成果。加上科技达人多角度诠释 ARCore 技术更新及本土案例,掀起科技迷们对 AR 的新一波热情。

ARCore在中国 - 越来越多开发者正在创新运用

从 2018 年 ARCore 技术登陆中国,已经在教育、购物、游戏等多个行业和大量开发者进行合作。随着 ARCore 的不断更新,越来越多的中国开发者正在创新应用这项技术,为本地用户带来更多新奇体验。

 

14.gif

美图 - 用 AR 拍出梦幻自我

美图公司利用 ARCore 的增强脸部 API(Augmented Faces API)构建了 100 多个自拍滤镜,让用户可以在拍摄照片和视频时体验 AR 特效。增强脸部 API 提供高精度的由 468 个点组成的密集 3D 脸部网格,追踪嘴部动作、眨眼、点头和一些复杂的细节。

此外,新推出的瞬间放置 API (Instant Placement API) 对美图更是如虎添翼。加上几行代码,通过将 AR 对象锚定到 2D 图像中,让用戶不需要扫描,就可以放置虚拟物件并进行互动。


image17.gifimage9.gif
image13.gif

6.gif

有道少儿词典 - 用 AR 身临其境地学习

有道少儿词典使用 AR 打破了时空限制,让孩子们有趣和又有效的方式学习新单词。利用 ARCore 的环境理解(Environmental Understanding)及平面识别(Plane Finding),识别环境中的对象和特征,精确地理解环境,加上炫酷逼真的 3D 模型,为孩子们带来身临其境学单词的乐趣体验。

学习过程中,孩子们不仅可以将精致模型投射在家里,从各种角度进行观察,放大缩小或移动;还可以点击模型上的中英文词框,或点进查词结果页,查看中英单词的权威释义,使形象和字义深刻联结。这大大提升了学习的趣味性,让孩子们边学边玩两不误。

 

image4.gif

 

滴滴 - 用 AR 让路痴永不迷路

在火车站、商场和机场等大型公共区域,你是否有打上车却找不到司机的体验?AR实景导航,让路痴轻松找到方向。

基于 ARCore 技术,滴滴构建了一个实景导航解决方案,实时识别用户和环境之间的定位关系,AR 实景导航引导信息逼真地和实景环境相结合,用户只需要跟着 AR 路标走,直接跳过转换 2D 地图信息的步骤。在这个过程中,ARCore 的环境理解和运动跟踪功能,确保手机始终识别用户方位,给出正确的路标指导。

 

image10.gif

在定位时,ARCore 会提示用户获得一张有效定位图片,利用运动追踪功能,感知用户位置、移动速度和角度。同时,ARCore 通过环境理解功能可以理解周围现实环境,估算平面信息,不论是商场地面,还是垂直于水平地面的墙壁、指示牌,它都能快速理解并相应放置虚拟指示路标,使引导信息渲染得更加逼真,让用户一看就明白。

 

这种有用、科技感十足的导航方式,一经推出就大受用户好评。这项功能在中国、日本等多地上线,据数据显示,它帮助用户节省近 1/4 的时间,满意度达 80%。

ARCore 新进展 - 让更多人,在更多地方体验更逼真的增强世界

除了这些丰富多彩的创新合作成果,本次 Google 开发者大会上,还着重介绍了 ARCore 技术的最新进展,为各位开发者们带来了两项AR领域的重磅功能:Depth API(深度 API)以及持久云锚点(Persistent Cloud Anchors)技术。

深度 API - 解决 AR 界的遮挡及互动难题

2020年中,Google 发布了 ARCore Depth API(深度 API),为开发者们带来解决虚拟物件拟真技术难题的希望,开发者凭借 Depth API 和单个 RGB 摄像头就可创建出深度图。不依赖任何特殊硬件,所以在大部分兼容 ARCore 的设备上都是可以使用深度API的。

Depth API 的一项最关键功能就是“遮挡”:虚拟物体能够准确地出现在现实物体后面,与场景真正融合在一起。此前没有遮挡功能,虚拟物体容易“横空出世”,更像是现实世界中的“贴图”,让人瞬间出戏。

 

11.gif

△ 左边没有遮挡功能的“喵星人”缺乏真实感,右侧开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。

那么究竟深度 API 是怎么实践的呢?怎么使用深度呢?

首先,我们先定义深度:就像下图里面表示的,C 点是摄像机的位置,Z 轴是摄像机的主轴。大写的 A 点,表示一个现实的物体。C 到 A 点的深度,就是线段 CA 在 Z 轴的投影。

 

一旦我们知道场景里面的物体的距离,我们就可以在渲染虚拟物体的时候使用这个信息,进行 Z buffer 计算。比较当前的像素点的深度与之前渲染在这个像素的点的深度,如果已经有别的物体出现在更近的位置,那么我们就忽略当前的像素点,这样就实现了基于深度的遮挡效果。

 

5.gif

如上图所示,我们使用蓝色表示近处的深度,蓝色越深表示一个物体靠近摄像头越近,它的的深度值就越低。当我们启用深度表示时,就可以看到桌子的深度比椅子所在的位置深度低,所以桌子就能遮挡住椅子。

此外,使用深度信息,还可以做出一系列拟真的特殊效果。例如更加逼真的物理反弹飛濺,避开障碍物的最佳路径规划,或完美贴合在凹凸不平的表面。也可以近一步运用粒子特效,模拟一些很难用其它传统的渲染技术达到真实感的自然现象,如火花、落叶、下雨、下雪等。

知名的社交应用 Snap 公司的设计师和工程师就将 Depth 的多项特性巧妙地融合在一起,开发出了一套与实景完美結合的  Snapchat 滤镜,包括跳舞热狗(Dancing Hotdog )以及 Android 版独有的海底世界(Undersea World)。此外,Snapchat 也在滤镜开发工具中,整合了ARCore Depth API ,滤镜创作者只需在开发工具中下载 ARCore Depth API 模版,就能开发出基于深度,更沉浸更真实的体验。因为开发过程大大简化,滤镜创作者们可以更轻松地应用高级的深度功能。

 

image16.gif

image8 .gif

△ Snapchat 滤镜的真实体验感

除了移动游戏与社交软件上的应用之外,深度 API(Depth API) 还在很多工具类应用上大放光彩。

例如,提供远程技术解决方案的应用程序 TeamViewer Pilot 在视频会话中加入 AR 注释,这都多亏了 Depth API 帮助程序更好地理解环境及物件,世界各地的专家足不出户,就可以准确使用实时 3D AR 注释为用户提供远程技术支持。

 

12.gif

△ TeamViewer Pilot 应用中的 3D 注释功能让专家远程精准标记出重要细节

三星的快速测量工具 Quick Measure 也在技术支持下不断迭代 ,目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的设备上应用 ARCore Depth API ,为用户提供更精确的测量功能了。

三星相机技术项目经理 Soowan Kim 认为 Depth API 大有可为:“Depth 会从多个层面丰富用户的 AR 体验。它将减少扫描时间,加快平面检测速度,即使是纹理不清晰的平面也能快速检测。

 

1.gif

△ Quick Measure 实现更精准测量

持久云锚点 (Persistent Cloud Anchors) - 让 AR 物体永存的秘密

ARCore 云锚点,通过 Google 的云服务托管锚点,可以让二个人甚至是二百人在同一个虚拟世界共享与互动。全新的持久云锚点则加强了这个功能,让用户将虚拟内容“储存”到任意现实场景中,将了文字、影像信息、或3D人物虚拟内容的和现实世界地点关联起来,永久保存共享。

 

image15.gif

△ SJ Labs 通过 AR 标记协助指引旅客们在斯德哥尔摩中央车站内行进

这一技术,让許多人以城市真实环境互动的沉浸 AR 应用及游戏得以实现。例如 MARK,是由 创梦天地和 Sybo 开发的一款AR社交应用,可以让你通过智能手机,在现实世界中和朋友、粉丝共同发现、共同创作的和现实场景完美融合的AR涂鸦。运用 AR 和地点场景完美整合的特性,你还可以用来装饰房屋、进行多人大范围的寻宝游戏、甚至跨城市的慈善募款等。

 

18.gif

△ MARK 应用中与粉丝好友一起 AR 涂鸦

此外,沉浸式内容工作室 Phoria 与 Google 、Netflix、WMF和一加合作,推出大自然主题的移动端 AR 互动应用:《Rewild》(中文直译为:重归荒野)。首个试播集名为《Frozen》,是系列四部曲的第一部。你在体验过程中,需要先用手机扫描周围环境,通过扫描和探索来发觉故事中的 AR内容。通过该应用,你可以利用周围的空间与 AR 进行互动,好像亲眼目睹地球的浩劫与救赎,效果震撼人心。

 

20.gif

△ REWILD 应用中可身临其境探索宇宙

接轨5G - AR赋能 5G 更多沉浸体验

当我们讨论行动互联网的未来, 相信“5G” 绝对是那个最重要的关键词。

5G 赋能了巨量、稳定、且快速的资料互联, 无论是对用户,或是整个IoT生态圈,都将带来革命性的新机会, 也为AR的应用带来前所未有的可能。

Google ARCore 团队也和许多运营商合作尝试了AR 加 5G 的全新应用。例如,在南韩,这个全球第一个迈入 5G 全面商用化的国家,LG Uplus 在首尔地铁站,建立了 AR 艺术长廊以及展示车厢。虽然地铁站一向都是人数多、信号差的地方,但是有了 5G 的加持,用户可以直接通过手机观看韩流明显或是瑜伽教练的真人全息影像,也可以顺畅体验复杂的 3D 人物舞蹈。

此外,Google 也与SK Telecom,及文化遗产管理局合作,创建了全球第一个5G 赋能的AR增强现实文旅体验,作为 5G 网络服务示范。通过ARCore 赋能,用户可以身临其境的了解昌德宫的历史故事,生动地看到昌德宫的金泉桥、仁政殿、熙政堂等景点。之前因文化遗产保护而限制入内的地方也得以公开。 此外,用户还可以与AR中的王和王后一起拍摄 AR 照,或进行 AR 射箭、AR 放风筝等丰富多彩的 AR 体验。SK 电信品牌营销集团负责人表示:“今后将利用 5G 技术,推出更多能够为社会做出贡献的活动”。

 

7.gif

AR 作为一种视觉沉浸式媒介,持续吸引着社会各界的广泛关注。Google 作为技术先驱,正积极地与全球开发者合作,用大放异彩的 ARCore 带来一个又一个惊喜。这种变革式的新体验,在不断发展中已有长足进步,但想必它还有更为广阔的远景。未来,它将如何予力社会与个人,改变你我的生活呢,让我们拭目以待。

想马上开始实做你的第一个AR 应用却没有基础? Google 与网易有道在中国大学 MOOC(慕课)合作,上线 ARCore 技术零基础免费线上课程,助力开发者学习成长。你可以直接到慕课官网搜索 “Google ARCore 入门开发课程“, 马上开始学习!

正在开发AR app 但总是觉得虚拟物件效果不够真实?你可以通过Google的示范应用ARCore Depth Lab 马上体验 ARCore 深度 API 的功能。这个应用已经上架 Google Play,并且代码开源,在 Github 中直接搜寻 arcore-depth-lab,相关的代码、论文、简介小视频都可以免费下载。

 

相关热词搜索:

上一篇:陕西华阴雪后华山银装素裹 如诗如画美不胜收
下一篇:拿到驾照的第一款车?WEY告诉你正确答案

分享到: 收藏
评论排行