比话音晚半秒
Translator 是我们做的 MVP 演示版,用 AI 在五种语言之间做实时语音翻译。在一颗 2012 年的台式机处理器上,不用图形处理器,一个英语词说出口后,平均 573 毫秒出现在屏幕上;识别出的词,大约每七个里有一个是错的。
2025 年,评测实时语音翻译系统的学术会议 IWSLT,用它给机器计时的那块秒表,给一位职业口译员也计了一回时:一个人,独自工作,只凭音频。从捷克语译成英语,按这个指标算,这位译员比讲话人晚 4.16 秒,而一套研究系统在同一份材料上是 1.51 秒。不过,人工评审给这位译员的评分仍然更高。
我们的演示版 Translator,在一个英语词说出口 573 毫秒后把它显示在屏幕上,607 毫秒后,法语译文也覆盖到了这个词。这两个数是 99 句录音的平均值,用的是一颗 2012 年的台式机处理器(Intel Core i7-3770,四核,8 GB 内存),没有用到图形处理器(GPU)。
口译员给出的是语音,应对的是真实的交谈。我们的数字说的是屏幕上的文字,是用朗读句子的录音测出来的,而且识别出的词大约每七个里有一个是错的。Translator 是一个 MVP 演示版,2026 年 11 月 15 日起在 translate.albadr.ai 公开,有配额限制。
Translator 是什么
Translator 是一个网页。选好自己说的语言和想读的语言,按下“开始”,开口说话;话还没说完,说出的话和译文就已经以文字的形式出现了。英语、法语、俄语、阿拉伯语和中文之间的 20 个方向,它都能做;这是联合国六种正式语言中的五种(第六种是西班牙语)。输出的是屏幕上的文字,不是合成语音。
全部工作都由 AI 完成:神经网络语音识别和神经机器翻译,一个语言对同时用上好几个模型,实时运行。这些模型都不需要 GPU。同一批模型既能跑在小型服务器的普通处理器上,也能跑在访客自己机器的浏览器标签页里。页面在自己的名字下面写着“来自 albadr.ai 的全 AI 解决方案”,首屏的一张卡片把这句话的意思讲明白了:“没有人在听、在打字或在翻译。和所有 AI 一样,它偶尔会弄错一个词。”最后这一句,我们可以给出数字。在许多不同说话人朗读的句子上,识别出的词大约每七个里有一个是错的;口音重、有噪声或者两个人同时说话时,错得更多。
作为演示版,它是限量使用的。引擎在访客自己的设备上运行时,一个网络地址每天可以用四小时,经由我们的服务器则是每天二十分钟;一次会话如果 90 秒没有人声,就会结束。眼下没有账号,没有付费,没有定价,也没有供客户系统对接的接口。
缺少口译员的地方
英国上议院的一个委员会报告说,2024 年 1 月至 9 月间,英格兰和威尔士的法院里有 8,958 次请派口译员的申请没有得到满足。找得到口译员的地方,一天有一天的价钱。美国联邦法院付给持联邦认证的合同口译员一整天 617 美元;而做同声传译时,译员通常两人一组,每 20 到 30 分钟轮换一次,这是口译员的国际协会 AIIC 瑞士分会的说法。
我们引用法院的数字,是因为法院有统计。以这样的错误率,法院恰恰是这个演示版最不该去的地方。我们心里想的那种需求,干系没有这么大,而且我们认为要常见得多。在 2021 年英格兰和威尔士的人口普查中,有 880,000 名居民英语说得不好,161,000 名完全不会说,不论他们自己说的是哪种语言。他们当中有些人要在服务台前说明来意,或者坐在诊所的接待处,而那天并没有预约口译员。讲座、市民大会、导览参观、布道或者客服热线上也是这样:一个人讲,其他人得跟上,而本来就不会有人出钱请两名口译员搭档。这些是我们提出的设想。其中任何一处,都还没有部署任何东西。
人能容忍多长的延迟,这个问题我们只能引用别人的说法。人在交谈时答得很快:在十种语言的日常交谈录音里,对是非问句的回答,在问句结束后平均 208 毫秒就开始了;而据一篇关于话轮转换研究的综述,回答之前如果出现 600 毫秒或更长的停顿,听的人就会预感到答案不是自己想听的。至于翻译出来的语音,谷歌的 Meet 团队说过,早先把转写、翻译和语音合成依次串起来的做法,常常要晚 10 到 20 秒,又说“两到三秒差不多是个最佳点”。这是该公司博客引述的一位产品经理的话,说的是语音,没有给出方法。我们没有研究过自己这个页面的读者,对延迟半秒时的理解效果,也不作任何断言。
一套设计,两处运行
页面负责采集麦克风的声音,并把文字画出来。页面和引擎文件都是普通文件,分发它们不需要运行任何程序。网络边缘上有一个很小的程序,负责回答页面的询问、放行会话,另有一个服务管着用量预算。引擎,也就是识别语音并加以翻译的那些神经网络模型,是唯一重的部分,它们可以在两处运行。
一处是访客自己的设备。引擎只下载一次(英语到法语是 218 MB,其他语言对是 213 到 451 MB),在浏览器里运行。在这种模式下,音频根本不离开浏览器。这一点要紧,因为人的声音透露的不只是说出来的话:法国的数据保护机构 CNIL 列出了声音会透露的信息,其中有年龄、性别、健康或情绪状态以及身份。真正传给我们服务的,是文字和数字,其中包括识别出的词和它们的译文。服务只在内存里处理这些内容,一概不保存。它留下的是一本已用时间的账,和关于它自身故障的记录;它的日志功能是关着的。这种模式要先下载,而且机器有多快,它才有多快。每台设备在下载大文件之前,先测一下自己的速度,要是跟不上,就会得到提示;跑不动引擎的旧款平板浏览器,则会被转到服务器。
另一处是一个小容器,有 2 个处理器和 3.5 GiB 内存。音频以流的方式传给它,只存在于内存里。音频既不写入磁盘,也不记入日志。没有人用的时候容器会休眠,这个代价由休眠后的第一位访客来付:在线上站点,从休眠中启动,大约一秒打开连接,七秒后模型加载完毕。如果向访客承诺过麦克风的声音留在设备上,那么在任何音频发往服务器之前,页面都会先征求同意。
正因为不用 GPU,服务器端才装得进这样大小的容器,设备端才装得进一个浏览器标签页。代价是,小到处理器就能跑的模型,听力也只是小模型的听力。
页面还会报告它自己的表现。每一条实时文字消息都带着其中最新一个词说出的时刻,按页面自己的时钟计,所以页面显示的延迟就是这位用户实际经历的延迟,传输也算在内。还可能改动的文字颜色较浅,带点状下划线。要么早早把词显示出来,要么保证一个词都不收回,二者只能取其一。我们选择早显示,并标出每一处改动。
整个公开演示版在设计上要始终不超出一个每月 5 美元的托管套餐,靠的是一份由服务强制执行的预算。访客的用量记在一个名字下面,这个名字是网络地址加盐后的摘要。某个份额用完时,页面会说明这一点,并告知什么时候值得再来。在我们看来,把访客挡回去,等到一个说定的时间再来,总比收到一张计划外的账单好。
我们测了什么
表中的数字来自 FLEURS(一套公开的朗读句子录音)的测试集部分,这部分录音从未用于调参。英语到法语那一列只跑了一次,在 11 月 11 日。法语到英语那一列是 11 月 11 日至 14 日六次运行中的最后一次,那几天法语模型还在改动,其间词错误率在 13.3% 到 15.4% 之间,所以作为未参与调参的数字,它不如英语那一列干净。所有录音都是按说话的速度放进真实系统的,用的是那颗 2012 年的台式机处理器,引擎在同一台机器上,中间不经过网络。
| 英语到法语 | 法语到英语 | |
|---|---|---|
| 录音条数 | 99 | 100 |
| 说出的一个词出现在屏幕上所需时间,平均值(第 95 百分位) | 573 ms (715) | 532 ms (683) |
| 该词去掉临时标记所需时间,平均值(第 95 百分位) | 836 ms (1126) | 791 ms (1085) |
| 译文覆盖到该词所需时间,平均值(第 95 百分位) | 607 ms (755) | 574 ms (740) |
| 话音停止后完整译文出现在屏幕上所需时间,中位数(第 95 百分位) | 470 ms (684) | 410 ms (661) |
| 最终文本的词错误率 | 14.10% | 13.63% |
| 最终译文的 BLEU 和 chrF | 36.18 和 63.39 | 31.86 和 61.15 |
| 句子定稿时被替换的已定译文词 | 0.88% | 0.33% |
第二行要和第三行一起读。“出现在屏幕上”包括仍标为临时的文字,第三行说的是这个标记什么时候消失。计算只占一小部分:在那颗处理器上,一步识别加一次翻译,合起来平均不到 0.1 s。这半秒里的大部分,是识别器在等:它要先听到一个词后面的内容,才能把这个词写出来。
错误率和翻译质量的数字,说的都是最终定下来的文本,有修订的话,就是修订之后的文本。法语的修订平均在话音停止后 888 ms 到达(第 95 百分位为 1,571 ms),在那之前,大约每五个法语词里有一个是错的。在 115 条从未用于调参的阿拉伯语录音上,服务器上的最终文本词错误率为 6.9%。最后一行只统计句子定稿时发生的替换。一句话还没有定稿的时候,已定的译文词有 16% 到 20% 会变,页面会标出每一处改动。
另有七个方向只在开发集录音上测过,也就是我们调参时用的那些录音,每个方向 19 到 60 条。在这些运行里,一个词说出后 539 到 612 ms 出现在屏幕上。加上 60 ms 的模拟网络往返,经由服务器的英语到法语数字是 669 ms(42 条开发集录音)。
同一台机器上,设备模式要慢一些:用引擎的浏览器版构建代替设备,加上同样的模拟网络,20 个方向在 644 到 840 ms 之间(每个方向 17 到 20 条开发集录音)。英语的准确率,在浏览器里保持住了。在一台 PC、一个浏览器上做的一次验证中,对 60 条未参与调参的录音,英语识别器在标签页里的词错误率是 11.64%,原生运行是 11.48%(60 份转写中有 46 份完全相同);翻译模型拿到同样的 60 句话,返回的就是服务器的译文。阿拉伯语则不同:在访客打开一个要再下载 174 MB 的选项之前,它在代替设备的环境里(每个方向 17 到 20 条开发集录音)的词错误率是 11.6% 到 13.1%,而服务器上是 5.9% 到 7.2%。
我们没有测过即兴口语、噪声、重口音、两个人同时说话、手机、真实网络,也没有测过托管容器的速度。俄语、阿拉伯语和中文没有在未参与调参的录音上测得的延迟数字。译文没有请任何人评过分。
业界在提供什么,收多少钱
大厂商如今已在提供实时语音翻译,每一家支持的语言都比我们的五种多。Google Meet 在符合条件的套餐上可以在 63 种语言的任意组合之间翻译语音,它的帮助页面说,译文“会延迟几秒”。苹果的 AirPods“实时翻译”(Live Translation),全部处理都在 iPhone 上完成,需要 iPhone 15 Pro 或更新的机型,而它的语言列表里既没有俄语,也没有阿拉伯语。微软 Teams 里的“语音同传”(Interpreter)则把会议音频发送到云端。苹果和微软的页面都没有给出以秒计的延迟。
研究界公布得更多。IWSLT 的评测设有低延迟档 0 到 2 秒和高延迟档 2 到 4 秒,所用的指标不计入计算时间,并期望提交的系统在单块 80 GB 的 NVIDIA H100 GPU 上运行。它 2026 年的评测报告指出,在能够测量的地方,计算还要再加约 0.3 秒。这些都不是同等条件下的比较。那些系统是在别的材料上、用别的指标测的。我们不排座次。我们只主张一点:这个量级的延迟,并不需要 GPU。
2026 年 11 月 17 日,微软 Azure 给实时语音翻译标出的价格是每音频小时 2.50 美元。那是面向客户的价格,我们没有可以摆在它旁边的价格。我们有的是托管成本。按我们自己的模拟(不是来自真实流量),5 美元的套餐每月大约能承载 470 小时在访客设备上运行的会话,以及 10.3 小时在服务器上运行的会话。算出这些数字的时候,还没有任何人来访问过,我们也没有见过一张账单。设备这边的数字之所以大,是因为计算发生在访客的处理器上:一次设备会话给托管平台带来的开销,只是有人说话时每秒几条短消息,没人说话时一条也没有。
客户怎样接入,它在哪里跑过
眼下,这个演示版是有意封闭的。页面不能嵌入别的网站,来自其他网站的调用会被拒绝。应要求,我们可以向客户提供页面底下的那条连接。那是一条流式连接,词汇表很短:音频帧往上传,事件往下发(就绪、实时文字、最终文字、修订后的文字)。客户的显示界面得像我们的页面那样处理这些事件:先把实时文字显示成还可能改动的文字,然后是最终文字,如果有修订到达,再显示修订。服务器端可以作为单个进程运行,也可以作为容器镜像运行,只要有处理器就行,别的都不需要。设备模式是为那些希望音频永远不离开用户机器的客户准备的。邀请链接自带分钟数,不计入公开配额。
其余的部分要和客户一起做。我们把它们列为待做的工作,因为它们一样都还不存在:密钥和按客户计量,嵌入许可,对接客户的会议、电话或活动系统的连接器,更多语言,以及页面文字之外的输出形式。
2026 年 11 月 11 日,我们做了第一批测量,当时整个产品是一台台式 PC 上的一个进程。一天后,同样的引擎在浏览器标签页里得到了验证,边缘版本也在本地跑了起来。到 11 月 13 日,全部 20 个方向都用引擎的浏览器版构建在那台 PC 上跑通,其中六个是在真实的浏览器标签页里跑的。11 月 15 日公开上线,用的是一个边缘平台加一个容器,当晚服务器上就有了全部五种语言。也就是说,11 月 11 日到 15 日之间,它先后以 PC 上的一个进程、浏览器标签页、边缘运行时和 Linux 容器这几种形态运行过。一台新服务器要提供的,是处理器,以及容得下一个进程或一个容器的空间。我们没有在别家云上运行的记录,也没有来自手机的数字。每次改动都要对照七条参考轨迹(5,496 个事件)检查,结果必须逐字节相同,此外还有 270 多项自动化测试。
演示版现在还做不到的事
Translator 是一个 MVP 演示版。在朗读的句子上,识别出的词大约每七个里有一个是错的;对即兴口语、噪声、口音和手机,我们没有数字,对真实网络上的延迟也没有。它是用一位说话人、一支麦克风测试的,多人同时说话的情况还处理不了。它有五种语言,有配额,没有定价。设备模式要先下载 213 到 451 MB,较旧的平板浏览器会退回到服务器。界面有全部五种语言的版本,但这些译文还没有请母语者读过。容量数字来自模拟。
演示版在 translate.albadr.ai。说一句话,然后打开设置面板,看看页面为你测出的延迟。如果你那里有这样一个场合,一个人讲、其他人得跟上,或者有一个应该和它对接的系统,请写信到 contact@albadr.ai。