Note
音声入力の品質を最も動かすのは、文章を整える LLM の選び方：構成の 6 要素の総当たり実験
音声入力を「音声認識 → 文章を整える LLM」の 2 段で作るとき、どの要素が品質を動かすかを、6 つの要素の組み合わせ 960 通りの総当たりで比べました。品質を動かした幅は、文章を整える LLM の選び方が 16.1 点と最も大きく、音声認識の選び方 8.5 点、辞書 5.0 点、指示文 2.6 点、画面の文脈 2.1 点、履歴 0.2 点の順でした。当社の環境での機械採点による値で、公開ベンチマークの点数とは直接比べられません。
Benchmark
ja-dictation-bench v1：日本語の音声入力を、文章を整えるところまで測るベンチマーク
話した日本語がそのまま送れる文章として入るかを測る公開ベンチマーク ja-dictation-bench v1 で、音声入力 4 製品を測りました。ビジネスシーンで使う文章 131 問を合成音声で読み上げ、意味・言いよどみと言い直し・構造・表記の 4 層を 2 つの LLM と人が採点しました。総合点は Typeless 91.3、SayonaraType 89.7、Aqua Voice 57.8（Whisper の設定で 58.4）、Wispr Flow 57.6 で、Typeless と SayonaraType の差は統計的に区別できません。意味の誤りの約 9 割は内容語や用語の取り違え・欠落でした。
Datasets
話した日本語が、書き手の意図どおりの文章として入るかを、ビジネスシーンで使う文章 131 問と 4 層のルーブリックで測る日本語の音声入力のベンチマーク。
About
SayonaraType の開発元（CACTUS TOKYO Inc.）による、音声入力と言語に関する研究と評価の公開。