成为Vision Pro开发者需要掌握的一些基础知识

Vision Pro是WWDC2023苹果公司发布的新款头戴显示器,把数字内容和物理空间进行了完美的结合,想要成为Vision Pro开发者就得掌握很多技术,接下来集英小编就给大家汇总下Vision Pro开发者必备的一些基础知识。

Vision Pro开发

1.用于VisionOS的开发工具

这对于许多Apple开发人员来说会有一种熟悉感,VisionOS开发基于Swift UI、RealityKit和ARKit,它们是已经存在一段时间的现有API。Apple为VisionOS扩展了这些框架,增加了对新硬件和全空间范例的支持。

2.可以使用SwiftUI和UIKit构建用户界面

可以使用SwiftUI和UIKit构建用户界面。RealityKit用于显示3D内容、动画和视觉效果;ARKit为应用程序提供了对用户周围真实世界空间的解析,并使该分析数据可用于应用程序内的编码。

3.可以为VisionOS重新编译旧的UIKit应用程序

从VisionOS获得一些亮点和3D功能。基于UIKit和Objective C的应用程序可能无法提供完全身临其境的3D体验,但它们将获得原生VisionOS的外观和体验,并能够与更现代的基于SwiftUI的应用程序无缝地共存。

4.传统的UI元素(如控件)获得新的Z偏移选项

这允许开发者将窗格和控件推入3D空间,允许某些界面元素浮动在其它元素的前面或者后面,这会让开发者更加关注某些元素。

5.VisionOS使用眼动追踪

Foveation提供了一种图像处理技术,其中图像的某些区域比其它区域能获得更多细节。借助VisionOS,Vision Pro使用眼动追踪,并以非常高的分辨率渲染正在查看的场景区域,但同时会降低周边视觉的分辨率。这减少了用户未全神贯注区域的处理时间。开发者无需为此编写代码,它已内置于操作系统中。

6.物体照明来源自当前空间

在缺省情况下,漂浮在3D空间中的物体会获得用户佩戴头显所在空间的光照与阴影特征。如果开发者想要自定义对象在虚拟空间中的照明方式,则可以提供基于图像的照明资源。

7.ARKit为应用程序提供了使用设备真实房间的模型

它使用平面估计来识别真实房间的平面图。场景重建构建了应用程序可以与之交互的房间空间的动态3D模型。图像锚功能会将2D图形锁定到3D空间中的某个位置,使它们看起来像是现实世界的一部分。

8.VisionOS上的ARKit增加了手骨骼追踪和辅助功能

这为应用程序提供了定位数据和关节映射,让手势可以更全面地控制虚拟体验。除了手部动作之外,辅助功能还允许用户与眼球运动、声音以及头部运动进行交互。

9.Unity位于RealityKit之上

Appl 目前已与Unity合作,Unity开发者可以直接从Unity内部转向VisionOS。无需太多转换工作即可将所有基于Unity的内容迁移到基于VisionOS的应用程序中。但在实际中可能是相当大的工程,因为它需要具有丰富Unity 经验的开发者与VisionOS应用程序一起创建基于Unity的应用程序。

10.Reality Composer Pro是用于预览和准备3D内容的新开发工具

这是3D和虚拟内容的资产管理器。另外它也可以让开发人员创建自定义材质、测试着色器、将这些资产集成到Xcode开发过程中,并在Vision Pro上进行预览。

11.共享空间数据处理

用户房间的视觉效果和映射将始终是保密的。云端处理不用于3D映射。所有用户个人信息和房间空间动态都完全在Vision Pro设备内部进行管理。

12.Xcode提供了预览与Vision Pro模拟器

开发者可以很方便的定义应用程序外观并测试应用程序。

预览模式可以让开发者在Xcode中查看布局,模拟器是可用于测试整体应用程序行为的专用屏幕环境。可以使用键盘、触控板或游戏控制器模拟手势。