解说梅西球赛、英雄联盟，OpenAI GPT-4视觉API被开发者玩出新花样

日期：2024-02-12 23:13:22 栏目：NBA 浏览：55 评论：0

　　机器之心报道

　　编辑：张倩

　　用过 OpenAI 视觉 API 的开发者都被惊艳到了。

　　文章开始，我们先来看一段球赛解说视频：

　　是不是感觉听起来不太对劲？

　　你的感觉没错，因为这段解说是用 AI 生成的，这个大喊「梅西！梅西！」的声音居然来自 AI。

　　这是 X 平台（原推特）博主 @Gonzalo Espinoza Graham 发布的一段视频。他表示，在制作过程中，他主要用到了 GPT-4V 和 TTS 两项技术。

　　GPT-4V 是 OpenAI 前段时间发布的一个多模态大模型，既能像原版的 ChatGPT 一样通过文字聊天，也能读懂用户在聊天中给到的图像。更令人兴奋的是，在昨天的开发者大会上，OpenAI 宣布，他们已经开放了视觉能力相关的 API——gpt-4-vision-preview。通过这个 API，开发者可以用 OpenAI 最新的 GPT-4 Turbo（视觉版）来开发新应用。

　　对于这个期待已久的 API，开发者们都跃跃欲试。因此，API 刚开放一天，就有不少开发者晒出了试用结果，这个球赛解说就是其中之一。

　　博主表示，为了制作这个解说视频，他将原视频的帧分批传给 gpt-4-vision-preview，然后通过一些简单的提示（prompt）要求模型生成一段旁白，最后把得到的结果用 TTS（文本转语音技术）转成音频，就可以得到视频中展示的效果。如果稍加编辑，理论上还能得到更好的结果。按照 OpenAI 目前的定价，制作这个视频大约要花 30 美元，作者直呼「不便宜」。

　　相关代码：https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb

　　除了球赛，还有开发者晒出了自己用 OpenAI 视觉 API 解说《英雄联盟》的 demo，这个 demo 用到的是 LNG 与 T1 的一场比赛视频，引起了全网 50 多万网友的围观。

　　解说效果是这样的：

　　不过，这类视频具体要怎么做呢？好在，除了这些成品效果，部分开发者还晒出了自己总结的教程，以及每个步骤中涉及的具体工具。

　　从 X 平台用户 @小互晒出的内容来开，整个实现过程可以分为 7 步：

　　提取视频帧；

　　构建描述提示；

　　发送 GPT 请求；

　　制作语音解说提示；

　　生成语音解说脚本；

　　将脚本转换为音频；

　　将音频与视频结合。