日本語の音声入力のベンチマーク
話した日本語が、意図どおりの文章として入るか。音声入力の製品を、同じ音声・同じ採点で比べました。131 問・合成音声 6 声・初期設定・辞書なし・2026 年 11 月に測定。
このベンチマークは、SayonaraType の開発元(株式会社CACTUS TOKYO)が作り、問題・採点の基準・結果をすべて公開しています。自社の製品が負けた項目も載せます。
結果
| 製品(設定) | 総合点 | 層A の誤り(131 問中) |
|---|---|---|
| Typeless(Pro) | 91.3 | 11 |
| SayonaraType(1.3.0) | 89.7 | 13 |
| Aqua Voice(Pro・Avalon 1.5・初期設定) | 57.8 | 54 |
| Aqua Voice(Pro・設定でモデルを Whisper にした場合) | 58.4 | 53 |
| Wispr Flow(Pro) | 57.6 | 52 |
総合点は 0〜100 です。層A(意味)に誤りがある問は 0 点として平均しています。
131 問では、Typeless と SayonaraType の差は統計的に区別できません(McNemar 検定 p = 0.77)。
Aqua Voice の 2 行は、利用者が設定で選べるモデルごとの結果です。
層ごとの点
| 製品(設定) | A 意味 | B 言いよどみ・言い直し | C 構造 | D 表記 |
|---|---|---|---|---|
| Typeless(Pro) | 99.2 | 99.0 | 99.6 | 99.7 |
| SayonaraType(1.3.0) | 99.1 | 98.7 | 99.5 | 99.6 |
| Aqua Voice(Pro・Avalon 1.5・初期設定) | 96.6 | 93.3 | 98.1 | 96.9 |
| Aqua Voice(Pro・設定でモデルを Whisper にした場合) | 96.6 | 91.6 | 98.3 | 97.0 |
| Wispr Flow(Pro) | 96.8 | 82.0 | 98.2 | 97.6 |
層ごとの点は、足切りの前の平均です。
何を測ったか
話した日本語が、書き手の意図どおりの文章として入るかを測りました。音声認識(聞き取り)と、文章の整え方(言いよどみ・言い直しの扱い、句読点、表記、構造)をまとめて採点しています。
採点は 4 つの層に分けています。A=意味(足切り)、B=言いよどみと言い直し、C=構造、D=表記で、重みは A 50・B 25・C 10・D 15 です。問題はチャット・メール・記録・AI への指示の 131 問です。
点は、2 つの AI による二重の採点と、採点が割れたところの人の判定で決めました。
測り方
各製品の Pro の版(SayonaraType は 1.3.0)を、初期設定のまま・辞書の登録なしで測りました。測る前に、それまでに覚えた語や書き方は消すか、測る間だけオフにしました。
音声はすべて合成音声です(VOICEVOX・Microsoft Azure・Amazon Polly の 6 声)。実在の人の声は含みません。音声を仮想の入力に流し、各製品に入った文字を問ごとに保存しました。
製品ごとの設定の細かな違いは、公開ベンチの測り方の文書に書いています。
くわしい測り方・結果・異議の受け付け
採点や人の判定に異議があれば、GitHub の Issue で受け付けます(問題の ID・規則・理由を書いてください)。
2026 年 11 月に測定(ja-dictation-bench v1・2026 年 11 月 5 日公開)。