苹果开放 Vision Pro 沉浸式直播制作管线

苹果公布 Apple Immersive Live Video 的制作、传输与预览工具链,Blackmagic、Strada、Shure 也推出配套设备与应用。

Apple 正在把 Vision Pro 上的沉浸式直播从自家节目制作,变成第三方也能接入的公开工作流。公司公布了 Lakers 场边直播背后的实时制作管线,把格式、传输方式和预览工具开放给摄像机、混合器与应用开发者。这一消息来自本月在 Apple Developer Center 举办、并同步线上直播的 Meet with Apple 活动,现场还展示了娱乐、营销、企业和现场活动等场景中的沉浸式与空间格式。

一场直播由三路流组成

Apple 为直播视频定义了 Apple Immersive Live Video 格式,核心由三部分组成:经流式传输的 ProRes 帧、未压缩 PCM 音频,以及随每帧一起传输的 JSON 元数据对象。三者各自作为独立的 SMPTE ST 2110 流传输,而这正是广播机构已经在使用的 IP 标准。该格式的画面分辨率达到典型 2D 广播的 32 倍,帧率则是其两倍,许多传统广播设备并没有为这样的数据量而设计。

ProRes 直录,回放不降质

录制沿用同一套规则,首先受益的是回放操作员。由于输入已经是 ProRes,直播流可以直接录成 MOV 文件,无需额外编码,也不会产生代际损失;回放时再原样送入直播链路,因此即时回放与直播画面一样清晰。

visionOS 27 为导演和剪辑加了什么

大部分新工具位于 Immersive Media Support 框架,这一层负责读写该格式的元数据。在 visionOS 27 中,Apple 增加了摄像机呈现命令,导演可以在复杂的直播制作过程中覆盖默认摄像机配置,而不必从头到尾受制于开机时的设置。

实时预览功能可以把 Apple Immersive Video 从 Mac 直接送到 Vision Pro,剪辑或直播过程中即可看到观众最终看到的画面,无需先导出文件。自定义合成器管线则允许制作方插入自己的渲染阶段。直播层之下是录制格式:它以 90 帧/秒拍摄,每只眼睛超过 5000 万像素,目标清晰度为每度 60 像素,Apple 将其等同于 20/20 视力;视场角目标可达 230 度,Vision Pro 会按原始拍摄方式重投影每个像素。

一个文件同时携带画面、镜头校准、图形、空间音频和运动元数据,后期制作因此可以跳过转码和手动投影修正。镜头校准、3D 同步和世界尺度在剪辑与终稿阶段自动处理。拍摄从认证摄像机开始,这些摄像机在采集点就嵌入镜头校准和元数据。

Apple 沉浸式双镜头摄像机装置在 Submerged 潜艇片场工作

声音也按同一套标准打包

高阶 Ambisonics 麦克风从摄像机位置记录空间声场,并与镜头匹配;这段录音成为混音的基础,普通制作声音则同时录制。声音与画面遵循同样的思路:Apple 的 Spatial Audio Format 把基于对象、基于声道和高阶 Ambisonics 音频收进一个容器,专用编解码器 APAC 则把高声道数压缩到流媒体可承载的码率。一个 ASAF 混音可以容纳 64 个或更多声道,远超 5.1 环绕声。

macOS 上的 Spatial Preview 框架让 Mac 留在流程中,把空间照片、Apple Immersive Video 和 3D 内容从 Mac 应用推送到 Vision Pro,并支持实时 USD 编辑和通过 SharePlay 加入协作。

佩戴 Vision Pro 的观众身处空间音频可视化场景中,声场以光球呈现

为这套流程准备的麦克风和应用

Blackmagic Ambisonic Microphone:108 个 MEMS 的球形阵列

Blackmagic Design 的 Ambisonic Microphone 把 108 个数字 MEMS 麦克风装进一个可握于掌心的多面铝球。空间编码器就在球体内部,因此下游不需要分离盒或编码软件。

Blackmagic CEO Grant Petty 表示,Apple 将其麦克风阵列几何结构和 Ambisonics 编码滤波器授权给 Blackmagic。也就是说,从 108 个拾音单元到 64 声道 32-bit 音频的转换,使用 Apple 的算法在麦克风内部实时完成。

一根 USB-C 线同时传输音频和供电。装在 URSA Cine Immersive 上时,麦克风可以把空间音频直接录进摄像机的沉浸式文件,并与画面同步;它也可以接入电脑上的 Fairlight Live 做实时混音,或通过 Blackmagic Camera 应用接入 iPhone。售价 1,909 美元(含支架),套装 2,405 美元,2026 年 12 月到货,套装增加防风罩和锁定 USB-C 线。

Blackmagic Ambisonic Microphone 黑色多面球形麦克风与单根 USB-C 线

Strada:把素材留在 Mac 上,直接在头显里审片

Strada 解决的是文件流转问题。它的 Vision Pro 应用可以直接从 Mac 上的文件夹流式播放 Apple Immersive Video,协作者无论身在何处都能打开当天素材,不需要上传云端,也不需要在中间加一层 HLS 播放列表。

提供文件审阅免费档,Vision Pro 应用已在 App Store 上架。审片发生在镜头内部:协作者在头显里观看,并把带时间戳的评论钉到具体帧。把 Strada 指向远程 Mac 上的 Blackmagic RAW 文件夹,它会在那边生成 AIVU 文件,导演当天就能在头显里看远程团队的样片。

Strada 在 Vision Pro 内浏览远程 Mac 上的沉浸式视频文件夹

Shure MV360:更轻的入门方案

Shure 的 MV360 是更便宜的入口,且已经开售。这支 USB-C 麦克风可以把 360 度空间音频直接录进手机或电脑。售价 349 美元,比 Blackmagic 的球形阵列低 1,560 美元,不过它接入的是手机应用,而不是 URSA Cine Immersive 机身。

包装里已经配齐 mini 三脚架、手机夹、两个麦克风夹、两根 USB-C 线、收纳包和泡沫防风罩,第一次录音前不必再买配件。

Shure MV360 空间音频麦克风夹在手机上于海滩录音

观众端会看到更多内容

对不拿摄像机的人来说,回报是更多可看的内容。球迷已经可以通过 Spectrum SportsNet 和 NBA 应用,在 Vision Pro 里实时坐在部分 Lakers 比赛的场边;空间音频把人放进现场欢呼声中,数据驱动的图形则随比赛同步出现。Apple 为这些比赛搭建了直播平台,分发也有自己的工具链。

支持 Apple Immersive 的分发工具会验证元数据、生成用于回放检查的 .aivu 文件,并为流媒体或 visionOS 应用内播放准备编码;标准的打包由 Apple 的 HLS Tools 和 AVKit 处理。SpatialGen、Ateme 和 Colorfront 负责该格式的编码与转码。工具开放后,内容库有机会超出单家公司能拍摄的范围,但 90 帧/秒、每眼 5000 万像素的格式短期内仍会限制制作团队规模。Apple 首先指向的仍是现场活动。

Apple Immersive Video 场景中鲨鱼在潜水员周围游动

收录于

讨论

0 条评论

同分类推荐

硬件