SayonaraType Research

Note

音声入力の品質を最も動かすのは、文章を整える LLM の選び方：構成の 6 要素の総当たり実験

SayonaraType 研究チーム（CACTUS TOKYO Inc.）

この実験は、SayonaraType の開発元である CACTUS TOKYO Inc. が、自社製品の改善のために行いました。比べた構成には、自社製品の構成を含みます。どの事業者・モデルを使ったかと、問ごとの結果は公開していません。

Abstract

音声入力を「音声認識 → 文章を整える LLM」の 2 段で作るとき、どの要素が品質を動かすかを、6 つの要素の組み合わせ 960 通りの総当たりで比べました。品質を動かした幅は、文章を整える LLM の選び方が 16.1 点と最も大きく、音声認識の選び方 8.5 点、辞書 5.0 点、指示文 2.6 点、画面の文脈 2.1 点、履歴 0.2 点の順でした。当社の環境での機械採点による値で、公開ベンチマークの点数とは直接比べられません。

要約

音声入力の製品の多くは、音声認識で書き起こした文字を、言語モデル（LLM）で整えてから入力します。この 2 段の構成で、どの要素の選び方が品質を大きく動かすかを、当社の改善の実験（2026 年 10 月）で調べました。6 つの要素（音声認識、文章を整える LLM、指示文、辞書、画面の文脈、履歴）の組み合わせ 960 通りを、同じ音声 251 本で機械採点し、要素ごとに品質を動かした幅を出しました。

文章を整える LLM の選び方が 16.1 点と最も大きく、音声認識の選び方（8.5 点）の約 2 倍でした。辞書は 5.0 点、指示文は 2.6 点、画面の文脈は 2.1 点、履歴は 0.2 点でした。音声入力の品質を聞き取りの正確さだけで比べると、整える段の差が見えなくなります。

方法

比べた要素

2 段の構成（音声認識 → 文章を整える LLM）を形づくる 6 つの要素を、次の水準で入れ替えました。

要素 水準
音声認識の選び方 5 種（他社の音声認識のサービス）
文章を整える LLM の選び方 4 種（他社の LLM）
指示文 4 段（一言だけ・核心の規則・全部の規則・全部の規則と例）
辞書 あり・なし
画面の文脈 3 段（なし・入力欄のカーソルの前後・ウィンドウに見えている文字まで）
履歴 あり（直前の 3 問）・なし

5 × 4 × 4 × 2 × 3 × 2 で 960 通りです。どの事業者・モデルを使ったかは、このノートでは扱いません。

音声と問題

公開ベンチマーク ja-dictation-bench v1 と同じ 131 問を使いました。60 問は 3 通りの音声（社内の話者 1 名の肉声と、合成音声 2 種）、71 問は合成音声 1 種で、計 251 本です。公開ベンチマークの製品の測定（1 問 1 声・公開の 6 声の割り当て）とは、音声が違います。

採点

機械の検査だけで採点しました（必須の語・禁止の語・数の表記など、2026 年 10 月時点の検査）。意味の誤り（層A の規則）に当たった問は 0 点とし、251 本の平均を 0〜100 の点にしました。LLM による採点と人の判定は入れていません。

品質を動かした幅

要素ごとに、水準ごとの平均点（ほかの 5 つの要素のすべての組み合わせの平均）を出し、いちばん高い水準といちばん低い水準の差を「品質を動かした幅」としました。総当たりなので、ほかの要素の水準はどの水準でもそろっています。

結果

  • 文章を整える LLM の選び方16.1
  • 音声認識の選び方8.5
  • 辞書（あり・なし）5.0
  • 指示文2.6
  • 画面の文脈2.1
  • 履歴（あり・なし）0.2
品質を動かした幅（点）。当社の環境での測定（960 通り・音声 251 本・機械採点・2026 年 10 月）
要素 品質を動かした幅（点）
文章を整える LLM の選び方 16.1
音声認識の選び方 8.5
辞書（あり・なし） 5.0
指示文 2.6
画面の文脈 2.1
履歴（あり・なし） 0.2

文章を整える LLM の選び方は、音声認識の選び方の約 2 倍の幅で品質を動かしました。辞書・指示文・画面の文脈・履歴の与え方は、どれも LLM と音声認識の選び方より小さな幅でした。

公開ベンチマークの点数とは比べられない

このノートの点数は、公開ベンチマークの研究レポートの点数（製品の総合点）とは直接比べられません。次の 3 つが違うためです。

  • 採点: このノートは機械の検査だけ。公開ベンチマークは、機械の検査に 2 つの LLM の二重採点を合わせ、割れたところを人が判定しています
  • 音声: このノートは社内の肉声を含む 251 本。公開ベンチマークは公開の合成音声 6 声を 1 問 1 声で割り当てています
  • 検査の版: このノートは 2026 年 10 月時点の機械の検査。公開ベンチマークは公開時の版（v0.6.2）です

限界

  • 選んだ候補による幅: 幅は、比べた 5 種の音声認識・4 種の LLM の中での差です。別の候補を入れれば幅は変わります。「LLM の選び方が音声認識の選び方より常に重要」という一般の結論ではありません
  • 文脈は問題に合わせて作った: 辞書は問題に出る語を含む約 50 語、画面の文脈と履歴は問題に合わせて作った文です。実際の利用者の辞書・画面・履歴での効き目は、これより小さい可能性があります
  • 公開ベンチマークと同じ問題: 問題は公開ベンチマークと同じ 131 問です。新しい問題で同じ傾向になるかは確かめていません
  • 機械採点だけ: 機械の検査で見られない誤り（言い直しの残り・構造の崩れの一部など）は点に入っていません
  • 組み合わせの効果: 幅は要素ごとの平均の差で、要素どうしの組み合わせ（例: ある LLM と指示文の相性）は表していません
  • 話者と音声: 肉声は話者 1 名の読み上げで、自発的な話し声・雑音・方言には一般化できません

関連

データカード

変更履歴

  • v1　2026-11-09　研究ノートを公開