由充满热情的人打造,为人们而作

albadr.ai博客
← 全部文章

Translator阅读约 14 分钟

比话音晚半秒

Translator 是我们做的 MVP 演示版,用 AI 在五种语言之间做实时语音翻译。在一颗 2012 年的台式机处理器上,不用图形处理器,一个英语词说出口后,平均 573 毫秒出现在屏幕上;识别出的词,大约每七个里有一个是错的。

2025 年,评测实时语音翻译系统的学术会议 IWSLT,用它给机器计时的那块秒表,给一位职业口译员也计了一回时:一个人,独自工作,只凭音频。从捷克语译成英语,按这个指标算,这位译员比讲话人晚 4.16 秒,而一套研究系统在同一份材料上是 1.51 秒。不过,人工评审给这位译员的评分仍然更高。

我们的演示版 Translator,在一个英语词说出口 573 毫秒后把它显示在屏幕上,607 毫秒后,法语译文也覆盖到了这个词。这两个数是 99 句录音的平均值,用的是一颗 2012 年的台式机处理器(Intel Core i7-3770,四核,8 GB 内存),没有用到图形处理器(GPU)。

口译员给出的是语音,应对的是真实的交谈。我们的数字说的是屏幕上的文字,是用朗读句子的录音测出来的,而且识别出的词大约每七个里有一个是错的。Translator 是一个 MVP 演示版,2026 年 11 月 15 日起在 translate.albadr.ai 公开,有配额限制。

Translator 是什么

Translator 是一个网页。选好自己说的语言和想读的语言,按下“开始”,开口说话;话还没说完,说出的话和译文就已经以文字的形式出现了。英语、法语、俄语、阿拉伯语和中文之间的 20 个方向,它都能做;这是联合国六种正式语言中的五种(第六种是西班牙语)。输出的是屏幕上的文字,不是合成语音。

全部工作都由 AI 完成:神经网络语音识别和神经机器翻译,一个语言对同时用上好几个模型,实时运行。这些模型都不需要 GPU。同一批模型既能跑在小型服务器的普通处理器上,也能跑在访客自己机器的浏览器标签页里。页面在自己的名字下面写着“来自 albadr.ai 的全 AI 解决方案”,首屏的一张卡片把这句话的意思讲明白了:“没有人在听、在打字或在翻译。和所有 AI 一样,它偶尔会弄错一个词。”最后这一句,我们可以给出数字。在许多不同说话人朗读的句子上,识别出的词大约每七个里有一个是错的;口音重、有噪声或者两个人同时说话时,错得更多。

作为演示版,它是限量使用的。引擎在访客自己的设备上运行时,一个网络地址每天可以用四小时,经由我们的服务器则是每天二十分钟;一次会话如果 90 秒没有人声,就会结束。眼下没有账号,没有付费,没有定价,也没有供客户系统对接的接口。

缺少口译员的地方

英国上议院的一个委员会报告说,2024 年 1 月至 9 月间,英格兰和威尔士的法院里有 8,958 次请派口译员的申请没有得到满足。找得到口译员的地方,一天有一天的价钱。美国联邦法院付给持联邦认证的合同口译员一整天 617 美元;而做同声传译时,译员通常两人一组,每 20 到 30 分钟轮换一次,这是口译员的国际协会 AIIC 瑞士分会的说法。

我们引用法院的数字,是因为法院有统计。以这样的错误率,法院恰恰是这个演示版最不该去的地方。我们心里想的那种需求,干系没有这么大,而且我们认为要常见得多。在 2021 年英格兰和威尔士的人口普查中,有 880,000 名居民英语说得不好,161,000 名完全不会说,不论他们自己说的是哪种语言。他们当中有些人要在服务台前说明来意,或者坐在诊所的接待处,而那天并没有预约口译员。讲座、市民大会、导览参观、布道或者客服热线上也是这样:一个人讲,其他人得跟上,而本来就不会有人出钱请两名口译员搭档。这些是我们提出的设想。其中任何一处,都还没有部署任何东西。

人能容忍多长的延迟,这个问题我们只能引用别人的说法。人在交谈时答得很快:在十种语言的日常交谈录音里,对是非问句的回答,在问句结束后平均 208 毫秒就开始了;而据一篇关于话轮转换研究的综述,回答之前如果出现 600 毫秒或更长的停顿,听的人就会预感到答案不是自己想听的。至于翻译出来的语音,谷歌的 Meet 团队说过,早先把转写、翻译和语音合成依次串起来的做法,常常要晚 10 到 20 秒,又说“两到三秒差不多是个最佳点”。这是该公司博客引述的一位产品经理的话,说的是语音,没有给出方法。我们没有研究过自己这个页面的读者,对延迟半秒时的理解效果,也不作任何断言。

一套设计,两处运行

页面负责采集麦克风的声音,并把文字画出来。页面和引擎文件都是普通文件,分发它们不需要运行任何程序。网络边缘上有一个很小的程序,负责回答页面的询问、放行会话,另有一个服务管着用量预算。引擎,也就是识别语音并加以翻译的那些神经网络模型,是唯一重的部分,它们可以在两处运行。

一处是访客自己的设备。引擎只下载一次(英语到法语是 218 MB,其他语言对是 213 到 451 MB),在浏览器里运行。在这种模式下,音频根本不离开浏览器。这一点要紧,因为人的声音透露的不只是说出来的话:法国的数据保护机构 CNIL 列出了声音会透露的信息,其中有年龄、性别、健康或情绪状态以及身份。真正传给我们服务的,是文字和数字,其中包括识别出的词和它们的译文。服务只在内存里处理这些内容,一概不保存。它留下的是一本已用时间的账,和关于它自身故障的记录;它的日志功能是关着的。这种模式要先下载,而且机器有多快,它才有多快。每台设备在下载大文件之前,先测一下自己的速度,要是跟不上,就会得到提示;跑不动引擎的旧款平板浏览器,则会被转到服务器。

另一处是一个小容器,有 2 个处理器和 3.5 GiB 内存。音频以流的方式传给它,只存在于内存里。音频既不写入磁盘,也不记入日志。没有人用的时候容器会休眠,这个代价由休眠后的第一位访客来付:在线上站点,从休眠中启动,大约一秒打开连接,七秒后模型加载完毕。如果向访客承诺过麦克风的声音留在设备上,那么在任何音频发往服务器之前,页面都会先征求同意。

正因为不用 GPU,服务器端才装得进这样大小的容器,设备端才装得进一个浏览器标签页。代价是,小到处理器就能跑的模型,听力也只是小模型的听力。

页面还会报告它自己的表现。每一条实时文字消息都带着其中最新一个词说出的时刻,按页面自己的时钟计,所以页面显示的延迟就是这位用户实际经历的延迟,传输也算在内。还可能改动的文字颜色较浅,带点状下划线。要么早早把词显示出来,要么保证一个词都不收回,二者只能取其一。我们选择早显示,并标出每一处改动。

整个公开演示版在设计上要始终不超出一个每月 5 美元的托管套餐,靠的是一份由服务强制执行的预算。访客的用量记在一个名字下面,这个名字是网络地址加盐后的摘要。某个份额用完时,页面会说明这一点,并告知什么时候值得再来。在我们看来,把访客挡回去,等到一个说定的时间再来,总比收到一张计划外的账单好。

我们测了什么

表中的数字来自 FLEURS(一套公开的朗读句子录音)的测试集部分,这部分录音从未用于调参。英语到法语那一列只跑了一次,在 11 月 11 日。法语到英语那一列是 11 月 11 日至 14 日六次运行中的最后一次,那几天法语模型还在改动,其间词错误率在 13.3% 到 15.4% 之间,所以作为未参与调参的数字,它不如英语那一列干净。所有录音都是按说话的速度放进真实系统的,用的是那颗 2012 年的台式机处理器,引擎在同一台机器上,中间不经过网络。

英语到法语法语到英语
录音条数99100
说出的一个词出现在屏幕上所需时间,平均值(第 95 百分位)573 ms (715)532 ms (683)
该词去掉临时标记所需时间,平均值(第 95 百分位)836 ms (1126)791 ms (1085)
译文覆盖到该词所需时间,平均值(第 95 百分位)607 ms (755)574 ms (740)
话音停止后完整译文出现在屏幕上所需时间,中位数(第 95 百分位)470 ms (684)410 ms (661)
最终文本的词错误率14.10%13.63%
最终译文的 BLEU 和 chrF36.18 和 63.3931.86 和 61.15
句子定稿时被替换的已定译文词0.88%0.33%

第二行要和第三行一起读。“出现在屏幕上”包括仍标为临时的文字,第三行说的是这个标记什么时候消失。计算只占一小部分:在那颗处理器上,一步识别加一次翻译,合起来平均不到 0.1 s。这半秒里的大部分,是识别器在等:它要先听到一个词后面的内容,才能把这个词写出来。

错误率和翻译质量的数字,说的都是最终定下来的文本,有修订的话,就是修订之后的文本。法语的修订平均在话音停止后 888 ms 到达(第 95 百分位为 1,571 ms),在那之前,大约每五个法语词里有一个是错的。在 115 条从未用于调参的阿拉伯语录音上,服务器上的最终文本词错误率为 6.9%。最后一行只统计句子定稿时发生的替换。一句话还没有定稿的时候,已定的译文词有 16% 到 20% 会变,页面会标出每一处改动。

另有七个方向只在开发集录音上测过,也就是我们调参时用的那些录音,每个方向 19 到 60 条。在这些运行里,一个词说出后 539 到 612 ms 出现在屏幕上。加上 60 ms 的模拟网络往返,经由服务器的英语到法语数字是 669 ms(42 条开发集录音)。

同一台机器上,设备模式要慢一些:用引擎的浏览器版构建代替设备,加上同样的模拟网络,20 个方向在 644 到 840 ms 之间(每个方向 17 到 20 条开发集录音)。英语的准确率,在浏览器里保持住了。在一台 PC、一个浏览器上做的一次验证中,对 60 条未参与调参的录音,英语识别器在标签页里的词错误率是 11.64%,原生运行是 11.48%(60 份转写中有 46 份完全相同);翻译模型拿到同样的 60 句话,返回的就是服务器的译文。阿拉伯语则不同:在访客打开一个要再下载 174 MB 的选项之前,它在代替设备的环境里(每个方向 17 到 20 条开发集录音)的词错误率是 11.6% 到 13.1%,而服务器上是 5.9% 到 7.2%。

我们没有测过即兴口语、噪声、重口音、两个人同时说话、手机、真实网络,也没有测过托管容器的速度。俄语、阿拉伯语和中文没有在未参与调参的录音上测得的延迟数字。译文没有请任何人评过分。

业界在提供什么,收多少钱

大厂商如今已在提供实时语音翻译,每一家支持的语言都比我们的五种多。Google Meet 在符合条件的套餐上可以在 63 种语言的任意组合之间翻译语音,它的帮助页面说,译文“会延迟几秒”。苹果的 AirPods“实时翻译”(Live Translation),全部处理都在 iPhone 上完成,需要 iPhone 15 Pro 或更新的机型,而它的语言列表里既没有俄语,也没有阿拉伯语。微软 Teams 里的“语音同传”(Interpreter)则把会议音频发送到云端。苹果和微软的页面都没有给出以秒计的延迟。

研究界公布得更多。IWSLT 的评测设有低延迟档 0 到 2 秒和高延迟档 2 到 4 秒,所用的指标不计入计算时间,并期望提交的系统在单块 80 GB 的 NVIDIA H100 GPU 上运行。它 2026 年的评测报告指出,在能够测量的地方,计算还要再加约 0.3 秒。这些都不是同等条件下的比较。那些系统是在别的材料上、用别的指标测的。我们不排座次。我们只主张一点:这个量级的延迟,并不需要 GPU。

2026 年 11 月 17 日,微软 Azure 给实时语音翻译标出的价格是每音频小时 2.50 美元。那是面向客户的价格,我们没有可以摆在它旁边的价格。我们有的是托管成本。按我们自己的模拟(不是来自真实流量),5 美元的套餐每月大约能承载 470 小时在访客设备上运行的会话,以及 10.3 小时在服务器上运行的会话。算出这些数字的时候,还没有任何人来访问过,我们也没有见过一张账单。设备这边的数字之所以大,是因为计算发生在访客的处理器上:一次设备会话给托管平台带来的开销,只是有人说话时每秒几条短消息,没人说话时一条也没有。

客户怎样接入,它在哪里跑过

眼下,这个演示版是有意封闭的。页面不能嵌入别的网站,来自其他网站的调用会被拒绝。应要求,我们可以向客户提供页面底下的那条连接。那是一条流式连接,词汇表很短:音频帧往上传,事件往下发(就绪、实时文字、最终文字、修订后的文字)。客户的显示界面得像我们的页面那样处理这些事件:先把实时文字显示成还可能改动的文字,然后是最终文字,如果有修订到达,再显示修订。服务器端可以作为单个进程运行,也可以作为容器镜像运行,只要有处理器就行,别的都不需要。设备模式是为那些希望音频永远不离开用户机器的客户准备的。邀请链接自带分钟数,不计入公开配额。

其余的部分要和客户一起做。我们把它们列为待做的工作,因为它们一样都还不存在:密钥和按客户计量,嵌入许可,对接客户的会议、电话或活动系统的连接器,更多语言,以及页面文字之外的输出形式。

2026 年 11 月 11 日,我们做了第一批测量,当时整个产品是一台台式 PC 上的一个进程。一天后,同样的引擎在浏览器标签页里得到了验证,边缘版本也在本地跑了起来。到 11 月 13 日,全部 20 个方向都用引擎的浏览器版构建在那台 PC 上跑通,其中六个是在真实的浏览器标签页里跑的。11 月 15 日公开上线,用的是一个边缘平台加一个容器,当晚服务器上就有了全部五种语言。也就是说,11 月 11 日到 15 日之间,它先后以 PC 上的一个进程、浏览器标签页、边缘运行时和 Linux 容器这几种形态运行过。一台新服务器要提供的,是处理器,以及容得下一个进程或一个容器的空间。我们没有在别家云上运行的记录,也没有来自手机的数字。每次改动都要对照七条参考轨迹(5,496 个事件)检查,结果必须逐字节相同,此外还有 270 多项自动化测试。

演示版现在还做不到的事

Translator 是一个 MVP 演示版。在朗读的句子上,识别出的词大约每七个里有一个是错的;对即兴口语、噪声、口音和手机,我们没有数字,对真实网络上的延迟也没有。它是用一位说话人、一支麦克风测试的,多人同时说话的情况还处理不了。它有五种语言,有配额,没有定价。设备模式要先下载 213 到 451 MB,较旧的平板浏览器会退回到服务器。界面有全部五种语言的版本,但这些译文还没有请母语者读过。容量数字来自模拟。

演示版在 translate.albadr.ai。说一句话,然后打开设置面板,看看页面为你测出的延迟。如果你那里有这样一个场合,一个人讲、其他人得跟上,或者有一个应该和它对接的系统,请写信到 contact@albadr.ai。