sherpa-onnx

英文原文正文为项目原始 README（英文），本站后续会翻译为中文，当前仅剔除图片与无关章节并统一排版。

📷 原文此处有图片，请前往 GitHub 仓库查看完整内容。

支持的功能

语音识别	语音合成	源分离
✔️	✔️	✔️

说话人识别	说话人分离	说话人验证
✔️	✔️	✔️

口语语言识别	音频标注	语音活动检测
✔️	✔️	✔️

关键词识别	添加标点	语音增强
✔️	✔️	✔️

支持的平台

架构	Android	iOS	Windows	macOS	Linux	HarmonyOS
x64	✔️		✔️	✔️	✔️	✔️
x86	✔️		✔️
arm64	✔️	✔️	✔️	✔️	✔️	✔️
arm32	✔️				✔️	✔️
riscv64					✔️

支持的编程语言

1. C	2. C	3. Python	4. JavaScript
✔️	✔️	✔️	✔️

5. Java	6. C#	7. Kotlin	8. Swift
✔️	✔️	✔️	✔️

9. Go	10. Dart	11. Rust	12. Pascal
✔️	✔️	✔️	✔️

它还支持 WebAssembly。

支持的框架

Flutter

架构	Android	iOS	Windows	macOS	Linux	网络
x64	✔️		✔️	✔️	✔️	✔️
x86	✔️					✔️
arm64	✔️	✔️	✔️	✔️	✔️	✔️
arm32	✔️					✔️

• 预构建的 Flutter 演示应用：flutter 版本

Tauri

架构	Android	iOS	Windows	macOS	Linux
x64	✔️		✔️	✔️	✔️
x86	✔️
arm64	✔️	✔️	✔️	✔️	✔️
arm32	✔️

• 预构建的 Tauri 演示应用程序：tauri releases

支持的 NPU

1. 瑞芯微 NPU (RKNN)	2. 高通 NPU (QNN)	3. 华为昇腾 NPU
✔️	✔️	✔️

4. Axera NPU	5. 英特尔 NPU (OpenVINO)
✔️	✔️

加入我们的 Discord

介绍

此仓库支持本地运行以下功能

• 语音转文字（即，自动语音识别）；支持流式和非流式
• 文本转语音（即 TTS）
• 说话人分离
• 说话人识别
• 说话人验证
• 口语语言识别
• 音频标注
• VAD（例如，silero-vad）
• 语音增强（例如，gtcrn，DPDFNet）
• 关键词检测
• 源分离（例如，spleeter，UVR）

在以下平台和操作系统上：

• x86, x86_64, 32位 ARM, 64位 ARM（arm64, aarch64）, RISC-V（riscv64）, RK NPU, Ascend NPU
• Linux, macOS, Windows, openKylin
• 安卓，WearOS
• iOS
• 鸿蒙操作系统
• NodeJS
• WebAssembly
• NVIDIA Jetson Orin NX（支持在 CPU 和 GPU 上运行）
• NVIDIA Jetson Nano B01（支持在 CPU 和 GPU 上运行）
• [树莓派][树莓派]
• RV1126
• [荔枝Pi4A][荔枝Pi4A]
• VisionFive 2
• 旭日X3派
• 爱芯派
• RK3588
• SpacemiT-K1
• SpacemiT-K3
• 等等

使用以下 API

• C、C、Python、Go、C#
• Java、Kotlin、JavaScript
• Swift, Rust
• Dart，Object Pascal

Huggingface Spaces 的链接

你可以访问以下 Huggingface 空间来试用 sherpa-onnx，而无需安装任何东西。你只需要一个浏览器。

Description	URL	中国镜像
说话人分离	点击我	镜像
语音识别	点击我	镜像
使用 Whisper 的语音识别	点击我	镜像
语音合成	点击我	镜像
生成字幕	点击我	镜像
音频标记	点击我	镜像
源分离	点击我	镜像
通过 Whisper 进行口语语言识别	点击我	镜像

我们也有使用 WebAssembly 构建的空间。它们如下所列：

描述	Huggingface 空间	ModelScope 空间
使用 silero-vad 进行语音活动检测	点击我	地址
实时语音识别（中英）使用 Zipformer	点击我	地址
实时语音识别（中文 英文）使用 Paraformer	点击我	地址
实时语音识别（中文 英文 粤语）使用 Paraformer-large	点我	地址
实时语音识别（英语）	点击我	地址
VAD 语音识别（中文）使用 Zipformer CTC	点击我	地址
VAD 语音识别（中文 英文 韩文 日文 粤语）使用 SenseVoice	点击我	地址
VAD 语音识别（英语）使用 Whisper tiny.en	点击我	地址
VAD 语音识别（英语）与 Moonshine tiny	点击我	地址
VAD 语音识别（英语）使用 Zipformer 训练于 GigaSpeech	点击我	地址
VAD 语音识别（中文），使用 Zipformer 在 WenetSpeech 上训练	点击我	地址
VAD 语音识别（日语）使用 Zipformer 训练于 ReazonSpeech	点击我	地址
VAD 语音识别（泰语），使用 Zipformer 训练 GigaSpeech2	点击我	地址
VAD 语音识别（中文多种方言）使用 TeleSpeech-ASR CTC 模型	点击我	地址
VAD 语音识别（英语 中文，以及多种中文方言）使用 Paraformer-large	点击我	地址
VAD 语音识别（英语 中文，以及多种中文方言）使用 Paraformer-small	点击我	地址
VAD 语音识别（多语种及多种中文方言）使用 Dolphin-base	点击我	地址
语音合成（Piper，英语）	点击我	地址
语音合成（Piper，德语）	点击我	地址
语音合成（抹茶，中文）	点击我	地址
语音合成（抹茶，英语）	点击我	地址
语音合成（抹茶，中英）	点击我	地址
说话人区分	[点击我][wasm-hf-说话人区分]	[地址][wasm-ms-说话人区分]
使用 ZipVoice 进行语音克隆（中文 英文）	点击我	地址
使用 Pocket TTS 进行语音克隆（英语）	点击我	地址

预构建的 Android APK 链接

您可以在下表中找到这个仓库的预构建 Android APK

Description	URL	中国用户
说话人分离	地址	点击此处
流式语音识别	地址	点击此处
模拟流式语音识别	地址	点此
文本转语音	地址	点此
语音活动检测 (VAD)	地址	点此
VAD 非流式语音识别	地址	点此
双遍语音识别	地址	点此
音频标注	地址	点此
音频标记 (WearOS)	地址	点此
说话人识别	地址	点此
口语语言识别	Address	点此
关键字识别	Address	点此

预构建 Flutter 应用程序的链接

实时语音识别

Description	URL	中国用户
流式语音识别	Address	点此

文本转语音

Description	URL	中国用户
安卓 (arm64-v8a, armeabi-v7a, x86_64)	地址	点此
Linux (x64)	地址	点此
macOS (x64)	地址	点此
macOS (arm64)	地址	点此
Windows (x64)	地址	点此

注意：你需要从源码构建 iOS 版本。

预构建 Lazarus 应用程序的链接

生成字幕

Description	URL	中国用户
Generate subtitles (生成字幕)	Address	点此

预训练模型的链接

描述	链接
语音识别（语音转文字，ASR）	地址
文字转语音 (TTS)	地址
VAD	地址
关键词检测	[地址][kws-模型]
音频标注	[地址][at-模型]
说话人识别（Speaker ID）	[地址][sid-模型]
口语语言识别（语言 ID）	参见多语言 Whisper 自动语音识别模型，语音识别
标点符号	地址
说话人分割	地址
语音增强	地址
源分离	地址

一些预训练的自动语音识别模型（流式）

请看

了解更多型号。下表仅列出其中的部分。

名称	支持的语言	描述
sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20	中文, 英文	参见 also
sherpa-onnx-streaming-zipformer-small-bilingual-zh-en-2023-02-16	中文, 英文	参见 also
sherpa-onnx-streaming-zipformer-zh-14M-2023-02-23	中文	适用于 Cortex A7 CPU。另见 also
sherpa-onnx-streaming-zipformer-en-20M-2023-02-17	英语	适用于 Cortex A7 CPU。另见 also
sherpa-onnx-streaming-zipformer-korean-2024-06-16	韩语	另见 also
sherpa-onnx-streaming-zipformer-fr-2023-04-14	法语	参见 also

一些预训练的自动语音识别模型（非流式）

请看

了解更多型号。下表仅列出其中的部分。

名称	支持的语言	描述
sherpa-onnx-nemo-parakeet-tdt-0.6b-v2-int8	英语	它是从
Whisper tiny.en	英语	另见 also
Moonshine tiny	英语	参见 also
sherpa-onnx-zipformer-ctc-zh-int8-2025-07-03	中文	一个 Zipformer CTC 模型
sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17	中文、粤语、英语、韩语、日语	支持多种中文方言。参见这里
sherpa-onnx-paraformer-zh-2024-03-09	Chinese, English	也支持多种中文方言. See also
sherpa-onnx-zipformer-ja-reazonspeech-2024-08-01	日语	参见 also
sherpa-onnx-nemo-transducer-giga-am-russian-2024-10-24	俄语	参见 also
[sherpa-onnx-nemo-ctc-giga-am-俄语-2024-10-24][sherpa-onnx-nemo-ctc-giga-am-俄语-2024-10-24]	俄语	参见 也可
sherpa-onnx-zipformer-ru-2024-09-18	俄语	参见 also
sherpa-onnx-zipformer-korean-2024-06-24	韩语	参见 also
sherpa-onnx-zipformer-thai-2024-06-20	泰语	参见 also
sherpa-onnx-telespeech-ctc-int8-zh-2024-06-04	中文	支持多种方言。参见这里

有用的链接

• 文档：https://k2-fsa.github.io/sherpa/onnx/
• Bilibili 演示视频: https://search.bilibili.com/all?keyword=%E6%96%B0%E4%B8%80%E4%BB%A3Kaldi

如何联系我们

请参见 https://k2-fsa.github.io/sherpa/social-groups.html
for 新一代 Kaldi 微信交流群 and QQ 交流群.

使用 sherpa-onnx 的项目

Sherpa Voice / @siteed/sherpa-onnx.rn

用于在 iOS 上验证 sherpa-onnx 的 React Native 封装器和演示应用
Android 和网页，包括自动语音识别（ASR）、语音合成（TTS）、语音活动检测（VAD）、关键词检测（KWS）、说话人识别、说话人分离、语言识别、标点、音频标记和语音增强。

• NPM 包
• 实时演示

声速

一个用于 Linux 桌面（GTK4/Adwaita）的语音输入应用程序。
它捕获麦克风音频，使用 Sherpa ONNX ASR 模型进行离线转录，可选择使用 LLM 对文本进行润色，然后通过 XDG 远程桌面门户键盘模拟将结果输入到活动窗口中。

VoxSherpa 语音合成

VoxSherpa TTS 是一款 100% 离线的 Android 文本转语音应用，由 Sherpa-ONNX 驱动。
它支持 Kokoro-82M、Piper 和 VITS 引擎，并包括多语言支持
印地语、英语、英式英语、日语、中文以及另外50种语言。

• 下载 APK（所有版本）
• Android 11 · 100% 离线 · 无遥测

生成	模型	库	设置

---

BreezeApp 来自 MediaTek Research

BreezeAPP 是一款为 Android 和 iOS 平台开发的移动人工智能应用。
用户可以直接从应用商店下载它，并离线享受各种功能，包括语音转文字、文字转语音、基于文本的聊天机器人互动以及图像问答

• 下载 BreezeAPP 的 APK
• APK 中国镜像

1	2	3

📷 原文此处有图片，请前往 GitHub 仓库查看完整内容。
|

📷 原文此处有图片，请前往 GitHub 仓库查看完整内容。
|

📷 原文此处有图片，请前往 GitHub 仓库查看完整内容。
|

Open-LLM-VTuber

与任何大型语言模型进行免提语音交互、语音中断，并通过 Live2D 在各平台本地运行面部动画

另请参阅

voiceapi

基于 FastAPI 的流式语音识别和语音合成

它展示了如何在 FastAPI 中使用 ASR 和 TTS 的 Python API。

腾讯会议摸鱼工具 TMSpeech

在 C# 中使用带有图形用户界面的流式语音识别。

Video demo in Chinese: 【开源】Windows实时字幕软件（网课/开会必备）

lol互动助手

它使用 sherpa-onnx 的 JavaScript API 以及 Electron

Video demo in Chinese: 爆了！炫神教你开打字挂！真正影响胜率的英雄联盟工具！英雄联盟的最后一块拼图！和游戏中的每个人无障碍沟通！

Sherpa-ONNX 语音识别服务器

一个基于 Node.js 的服务器，提供用于语音识别的 Restful API。

QSmartAssistant

一个模块化，全过程可离线，低占用率的对话机器人/智能音箱

它使用 QT。两者都 ASR
和 TTS
被使用。

Flutter-EasySpeechRecognition

它通过在应用内部下载模型来扩展 ./flutter-examples/streaming_asr，以减小应用的大小。

注意：[B队] Sherpa AI 后端 也在一个 Flutter 应用中使用 sherpa-onnx。

sherpa-onnx-unity

Unity 中的 sherpa-onnx。另请参见 #1695，
#1892，以及 #1859

xiaozhi-esp32-server

本项目为xiaozhi-esp32提供后端服务，帮助您快速搭建ESP32设备控制服务器
xiaozhi-esp32 的后台服务，帮助你快速搭建 ESP32 设备控制服务器。

另请参阅

• ASR新增轻量级sherpa-onnx-asr
• feat: ASR增加sherpa-onnx模型

KaithemAutomation

纯 Python，面向 GUI 的家居自动化/消费级 SCADA。

它使用来自 sherpa-onnx 的 TTS。另请参见 ✨ 使用新全球配置的 TTS 模型的 Speak 命令。

Open-XiaoAI KWS

Enable custom wake word for XiaoAi Speakers. 让小爱音箱支持自定义唤醒词。

Video demo in Chinese: 小爱同学启动～˶╹ꇴ╹˶！

C WebSocket 语音识别服务器

它提供了一个基于 C 的 WebSocket 服务器，用于使用 sherpa-onnx 的自动语音识别 (ASR)。

Go WebSocket 服务器

它为 sherpa-onnx 提供了一个基于 Go 编程语言的 WebSocket 服务器。

制作机器人派蒙，第10集“人工智能 第一部分”

这是一个YouTube 视频，展示了作者如何尝试使用人工智能，以便他可以与派蒙进行对话。

它使用 sherpa-onnx 进行语音转文本和文本转语音。	1

📷 原文此处有图片，请前往 GitHub 仓库查看完整内容。
|

TtsReader - 桌面应用程序

一个使用 Kotlin 多平台构建的桌面文本转语音应用程序。

MentraOS

智能眼镜操作系统，内置数十款应用。用户可以使用AI助手、通知、翻译、屏幕镜像、字幕等功能。开发者可以编写一款应用，在任何一副智能眼镜上运行。

它在 iOS 和 Android 设备上使用 sherpa-onnx 进行实时语音识别。
另请参阅

它使用 Swift 开发 iOS，使用 Java 开发 Android。

flet_sherpa_onnx

基于 sherpa-onnx 的 Flet ASR/STT 组件。
示例 聊天框代理

achatbot-go

一个基于 Go 的多模态聊天机器人，使用 sherpa-onnx 的语音库 API。

fcitx5-vinput

Fcitx5（Linux 输入法框架）的本地离线语音输入插件。
它使用 C 并配合离线语音识别（ASR）进行语音识别，支持按键通话、命令模式，以及可选的 LLM 后处理。

中文视频演示: fcitx5-vinput

唤醒词

一个用于免提语音激活编码的 VS Code 扩展。它使用 sherpa-onnx 进行实时关键字检测（KWS），以检测自定义唤醒短语，并通过语音触发 VS Code 命令。
音频捕获由 decibri 处理，这是一个跨平台的 Node.js 麦克风流媒体库，带有预构建的本地二进制文件。

• VS Code 市场
• Open VSX
• Decibri Sherpa-ONNX 集成指南

SmartSub

SmartSub 是一款以本地为优先的跨平台桌面应用，用于完整的字幕制作流程：音频/视频转录、字幕翻译、校对以及字幕刻录/混流。

它原生集成了 sherpa-onnx，以驱动三种离线 ASR 引擎——FunASR、Qwen3-ASR 和 FireRedASR——完全在设备上提供高精度的中文和多语言语音识别，无需上传文件。

Fono

与您的电脑对话。Fono 是一个开源（GPL-3.0）的完整语音 AI 栈（语音转文本、文本转语音、本地大语言模型、唤醒词、说话人识别），所有功能都整合在一个小型二进制文件中，适用于 Linux、macOS 和 Windows 桌面。按下一个键并说话：它可以输入到任何应用程序中，作为语音助手回答，或者驱动一个编码代理。

它使用 sherpa-onnx 的 Supertonic TTS 模型进行文本到语音转换，带有
Supertonic 文本前端已移植到 Rust。另请参见
#3750，修复了罗马尼亚语、捷克语、波兰语、匈牙利语 Supertonic 前端丢失变音符号的问题，
土耳其语、越南语以及其他非英语拉丁字母语言。

Domia

Domia 是一个开源的本地 AI 伴侣，你可以与之对话，完全运行在你拥有的硬件上。每个 Domia 都有自己的角色，具有独特的个性、声音、情绪状态以及对你和它所在位置的记忆——而且它不仅会说话，还能行动：通过 MCP、Home，技能将它与现实世界连接起来。
包括助手。Domia 节点形成一个本地点对点网络，分享语音和推理计算，而房间卫星将每个伴侣带入你生活的空间，同时不放弃其身份。没有云，没有账户，数据也不会离开你的网络。

Domia 在进程内运行 sherpa-onnx，用于关键字检测、语音活动检测、流式和离线语音识别，以及文本转语音。
语音引擎和模型是通过每个伴侣的配置来选择的，这使得将支持的 sherpa-onnx 模型匹配到不同硬件变得容易。

qwen-audio-agent

用于 AI 编码代理（Claude Code、Codex、OpenCode 以及其他 ACP 代理）的实时全双工语音运行时。
它使用 sherpa-onnx 关键字检测与 3M 参数的中英转换器模型来实现本地语音唤醒词：
应用在空闲时会进入睡眠状态，但保持麦克风开启，唤醒短语可以在不进行云调用的情况下恢复会话。

Recly

一个适用于 Galaxy Watch、Android、Apple Watch、iPhone、macOS 和 Windows 的开源录音器。录音会存储到用户自己的 Google 云端硬盘；没有 Recly 服务器。Android 手机应用程序（也可以转录 Galaxy Watch 的录音）
而 Windows 应用程序使用 sherpa-onnx 进行设备上的转录：Silero VAD 将每个录音分割为语音片段，sherpa-onnx 的 INT8 导出
Qwen3-ASR 0.6B 转录它们。约 1 GB 的模型按需下载。

China Unicom 中国联通安卓 App

Android 应用（版本 >= 12.14.1 (2026.07.28)）使用 sherpa-onnx Kotlin API 进行关键词检测。

China Life 中国人寿 App

Android 应用程序（版本 >= 3.5.46 (2026.03.23)）使用 sherpa-onnx Kotlin API 进行关键字检测。

deepseek-harness

它 使用
JavaScript npm 包 sherpa-onnx-node 与 SenseVoice
用于本地语音识别。