ja-dictation-bench v1：日本語の音声入力を、文章を整えるところまで測るベンチマーク

要約

話した日本語がそのまま送れる文章として入るかを測る公開ベンチマーク ja-dictation-bench v1 で、音声入力 4 製品を測りました。ビジネスシーンで使う文章 131 問を合成音声で読み上げ、意味・言いよどみと言い直し・構造・表記の 4 層を 2 つの LLM と人が採点しました。総合点は Typeless 91.3、SayonaraType 89.7、Aqua Voice 57.8（Whisper の設定で 58.4）、Wispr Flow 57.6 で、Typeless と SayonaraType の差は統計的に区別できません。意味の誤りの約 9 割は内容語や用語の取り違え・欠落でした。

結果の要点は 日本語の音声入力のベンチマーク のページにもまとめています。このレポートは、その全文にあたります。

主要な発見

1. 131 問・合成音声・初期設定・辞書なしで測ると、総合点（0〜100）は Typeless 91.3、SayonaraType 89.7、Aqua Voice 57.8（設定でモデルを Whisper にした場合 58.4）、Wispr Flow 57.6 でした。
2. 同じ 131 問・同じ条件で、Typeless と SayonaraType の差（総合点 1.6 点、意味の誤り 11 問と 13 問）は統計的に区別できません（McNemar 検定 p = 0.77、総合点の差の 95% の幅 −6.8〜+3.6 点）。
3. 同じ 131 問・同じ条件で、Typeless・SayonaraType の 2 製品と、Aqua Voice の 2 つの設定・Wispr Flow との総合点の差は 31〜34 点で、この 6 つの組の対応のある比べのすべてで、差の 95% の幅は 0 を含みませんでした。
4. 131 問・合成音声で意味の層（層A）の誤りになった 183 件（5 つの設定の合計）のうち 162 件（約 89%）は、内容語や用語の取り違え・欠落（規則 A1）を含んでいました。

背景

日本語の音声認識の評価では、文字誤り率（CER）のように、話した音がどれだけ正しく文字になったかを数える指標が広く使われてきました。これは聞き取りの正確さを測るもので、出た文字がそのまま文章として送れるかは測りません。

一方、音声入力の製品には、聞き取った文字を言語モデルで整えてから入力するものが出てきました（例: Aqua Voice は、出力を「Avalon と言語モデルによる後処理を合わせたもの」と説明しています。Avalon は同社の独自の音声認識のモデルです¹）。仕事で使うとき、利用者が求めているのは書き起こしではなく、言いよどみや言い直しが取り除かれ、正しい漢字と表記で、読みやすい形に並んだ文章です。この「話した言葉を、送れる文章にする」段は、文字の正しさの指標では測れません。

ADLIB（日本語の音声認識の技術用語のベンチマーク）は、既存の音声認識の評価が「過度な正規化」か「完全一致」の二択になりがちで、正しい表記の揺れを誤りにし、句読点と数字の扱いで差が潰れることを問題にしています（ADLIB）。本ベンチマークも同じ問題意識から出発し、聞き取りと整え方をまとめて、「書き手の意図どおりの文章として入ったか」を採点します。

どの要素が品質を動かすかは、別の研究ノート「音声入力の品質を最も動かすのは、文章を整える LLM の選び方」で示します（文章を整える LLM の選び方の影響が最も大きかった）。

日本語の構造と、音声入力の難しさ

本ベンチマークの採点の基準（整形ルーブリック v1.0²）は、症状を一つずつ足していく方法ではなく、日本語の構造と既存の研究から論点を導く方法で作りました。この章では、その設計の根拠を、音声入力で何が起きるかと合わせて説明します。

なぜ 4 層に分けたか

整える段の誤りを症状（ヘッジ、改行、口語から文語へ、表記、同音異義語、言い直し……）として並べると、新しい症状が見つかるたびに項目が増え、項目どうしの優先順位も決まりません。そこで「音声入力で話し言葉を文章にするとは、どんな変換か」から定義し直しました。この変換は 4 つに分けられます。

• 層A 意味の保存: 話し手が言ったことを保つ
• 層B 非流暢性の除去: 話し言葉にしかない要素を取り除く
• 層C 構造化: 書き言葉の構造（箇条書き・改行・見出し）を与える
• 層D 表記と文体: 書き言葉の表記と文体にする

A と B は、何を保ち何を消すべきかが話し手の発話から一つに決まります（一意）。C と D は書き手の裁量が入るので、正解に幅があります（許容範囲）。この非対称が採点の設計を決めました。一意の層は主に機械の検査で外れを数え、許容範囲の層は複数の正解の集合や LLM の採点で見ます。また、意味（A）の誤りは重大なので足切りにし、合格した出力の間の差は B・C・D で付けます。

層A：命題とモダリティの階層

日本語の文は、出来事の内容（命題）を、話し手の態度（モダリティ）が外側から包む階層として整理されてきました（益岡 1991、日本語記述文法研究会編 2003）。

日本語では、推量・疑問・依頼といった話し手の態度が文末に集まります。音声入力で文章を整えるとき、この文末が書き換えられやすく、「原因だと思う」が「原因です」に、「起きてると思う？」が「起きてると思う。」に変わると、語は残っていても意味が変わります。また、主語や目的語を言わないことが多いので、整える段が主語を補ったり、話していない語を足したりすることも起きます。

この階層は、整える段で「保つもの」と「変えてよいもの」の境界を与えます。いちばん外側の丁寧さだけを文体（層D）とし、それより内側はすべて意味（層A）として保つ対象にしました。発話の種類（平叙・疑問・依頼など）をまたぐ変更は誤り、同じ種類の中の形の違い（「して」と「してください」）は文体として許容します。層A の規則は、内容語（A1）・固有名詞（A2）・数値（A3）・肯否（A4）・ヴォイスとテンス（A5）・推量の強さ（A6）・発話の種類（A7）・接続（A8）・対比（A9）・疑問の形（A10）・補い（A11）・省略（A12）の 12 項目です。

層B：話し言葉にだけある現象（CSJ の転記タグ）

話し言葉には、書き言葉にない現象があります。「えっと」「あの」のようなフィラー、「来週、いや、再来週」のような言い直し、同じ語の繰り返しです。音声入力では、これらがそのまま文字になったり、聞き取りの段で別の文字に化けたりします（例えば「えー」が英字の「A」になる）。言い直しは、前の語を残すと内容が変わります。

何を「話し言葉にだけある現象」とするかは自分で決めず、日本語話し言葉コーパス（CSJ）の転記の仕様を土台にしました（小磯ほか、CSJ）。CSJ は、フィラー（F）、言い直しや言い淀みによる語の断片（D）、助詞・数字などの言い直し（D2）、非語彙的な音などにタグを付ける体系を持っています。これを「書き言葉にするときに消す対象」の候補として使い、フィラー（B1）、言い直し（B2）、言い直しの合図（B3、「いや」「あ、違う」）、反復（B4）、言いかけてやめた節（B5）、自分への発話（B6）、非語彙的な音（B7）、聞き取りの誤り（B8）の 8 項目にしました。

ただし、言い直しと対比は区別が要ります。「精度じゃなくて速度の話」は対比で、前の語を消すと意味が変わります（A9）。「施策の精度、じゃなくて優先度」は言い直しで、後の語だけを採ります（B2）。判断がつかないときは残す側に倒します。

層C：構造（話し言葉は一列、書き言葉は平面）

話し言葉は、時間に沿って一列に流れます。書き言葉は、箇条書きや改行によって紙面の上に平面として並びます。話し手は、この平面の構造を声だけで伝えようとして、「まず」「あと」「〜と、〜と」のような語で列挙を示します。整える段は、こうした合図を聞き取り、一列の発話を、読み手が一目で見渡せる構造に直す必要があります。

この層では、「語と態度は話した形、構造は読みやすい形」を原則にしました。3 項目以上の列挙や、話し手が数えた列挙は箇条書きにするのが期待出力です（C1。公用文作成の考え方の「三つ以上の情報は箇条書き」と一致）。反対に、短い発話に見出しや 1 項目だけの箇条書きを足すような過剰な整え方は減点します（C8）。構造は、足りなくても多すぎても読み手の負担になります。

なお、層C は日本語に固有の性質が少なく、言語をまたいで共通する部分が大きい層です。話し言葉が一列で書き言葉が平面であることは、日本語に限りません。このベンチマークでの重みも 10 と小さくしています。

層D：表記の基準（公用文作成の考え方と ADLIB）

日本語は、漢字・ひらがな・カタカナ・英字を混ぜて書き、同じ語にも正しい書き方が複数あります（「届出」と「届け出」、「2」と「二」）。一方で、音の同じ語（同音異義語）が多く、音声入力では読みから漢字を選ぶ段で「講評」が「公表」に、「決裁」が「決済」になるような誤りが起きます。表記の正解が複数あることと、文脈で一つに決まる漢字があることが、同時に成り立っています。

表記の基準は自分で作らず、文化審議会の「公用文作成の考え方」（2022）に合わせました。横書きの数字は算用数字、兆・億・万は漢字、「か月」「か所」は平仮名、補助動詞・形式名詞・接続詞は仮名書き、長音は長音符号、という原則です。層D は、正解が一つに決まる側（同音異義語 D1・英語表記 D2・数字 D3・単位と記号 D4）と、範囲内ならどれも正解の側（丁寧さ D5・依頼の形 D6・終助詞 D7・縮約形 D8・ヘッジ語の置き換え D9・漢字の開き D10・句読点 D11・長音 D12・文体の統一 D13・英字の前後の空白 D14・略語 D15）に分けました。

英語の混じる語には、外来語をカタカナで書くか英字で書くかの一律の規範がありません。この採点には ADLIB の分類を借り、英字だけが正解の語（exact。例: CSV、JSON、Notion、1on1）と、英字とカタカナのどちらも正解の語（flexible。例: デプロイと deploy）に分けました（ADLIB）。

句読点も規範が緩く、読点の位置は書き手によって違います。そこで読点の位置や末尾の句点の有無は減点せず、解釈が変わるとき・具体的に読みにくいときだけ減点します（D11・D14）。疑問かどうかは「？」の有無ではなく、意味として A10 で見ます。

出力の長さ・構造・ジャンルと、出力内の統一

文体の正解は、出力の長さと構造で変わります。短い一文は話した態度（文末の形や「まあ」のような談話標識）を残すのが自然で、長く構造化された出力ほど書き言葉の規範が優先されます。ただし「長さで許容の幅を変える」と規則にすると、長い発話で要約や言い換えまで許す方向に漏れます。そこで、実際に変わっているのは「出力の中で文体がそろうか」だとして、出力内の統一（D13）と「短文は話した形」の規則にしました。短文かどうかは、採点する出力の句点では数えず、問ごとに期待出力で事前に印を付けました（出力の側が句点を足すだけで判定を変えられるのを防ぐため）。許容の幅が長さで動くのは C と D だけで、A と B は長さで動きません。

正解の文体は入力先で変わるので、ジャンルを、アプリではなく出力の形式で分けました。チャット（Slack・LINE・Teams など）、メール、記録（メモ・議事録・ToDo）、AI への指示の 4 つです。改行の量や見出しの記号、大きな数の書き方（100万と 1,000,000）のように個人の文体に委ねる部分は、減点しないか軽い減点にとどめました。

まとめ：日本語の性質と、評価での扱い

評価の設計

この章では、4 章の層と規則が、問題・音声・採点・測定の条件のそれぞれでどう扱われているかを書きます。

問題セット

131 問は、3 つの元からなります。すべての問に、ジャンル、短文かどうかの印、期待出力（低く採点する別解と、誤りの例を含む）、その問で必ず採点する規則（ケースの規則）を付けています。

ジャンルはチャット 60・記録 46・メール 13・AI への指示 12、短文の印は 111 問に付き、20 問は短文ではありません。期待出力は「語と態度は話した形、構造は読みやすい形」の原則で書きました。既存の製品の出力は、論点を見つける手がかりには使いましたが、正解にはしていません。特定の製品の癖を正解に混ぜると、ベンチマークがその製品にどれだけ似ているかの物差しになるためです。

合成音声を使う理由

音声は、3 つのエンジンの 6 声（VOICEVOX の四国めたん・玄野武宏、Microsoft Azure Neural TTS の Nanami・Keita、Amazon Polly の Kazuha・Takumi）で、すべて合成音声です。実在の人の声は含みません。公開しているのは 131 問 × 6 声の 786 本で、製品の測定には 1 問につき 1 声を使いました。声の割り当ては、問の元とジャンルの組ごとに 6 声が均等になるよう、固定の乱数の種（20261102）で決めています（1 声あたり 21〜22 問）。測定に使った 131 本は計 約 26 分で、1 本は 1.4〜60.2 秒（中央値 12.0 秒）です。

合成音声を使うのは、実在の人の声を公開すると話者の同意と保護の手当てが要ること、誰でも同じ音声で測り直せること、音声を「評価専用（学習・声の複製は不可）」のライセンスで配れることのためです。一方で、合成音声は発音が明瞭で一定なので、固有名詞・英語の用語・同音異義語の聞き取りが実際より良く出やすく、フィラーや言い直しも台本の読み上げなので本物の言いよどみにはなりません。この影響は主に層A と層B の聞き取りの部分に出ます。限界は 8 章に書きます。

評価の基準

採点は 4 層・46 項目のルーブリックに従います。重みは A 50・B 25・C 10・D 15 です。

1. 採点する規則を、採点の前に固定する。どの出力でも破りうる共通の 22 規則（A1〜A12、B1・B4、C1・C4・C8、D3・D4・D6・D13・D14）と、その問のケースの規則を合わせたものだけを採点します。違反がなければ 2 点で、「該当しない」は選べません。
2. 規則ごとに 0〜2 点を付ける。1 つの規則に複数の箇所があれば、いちばん低い点を採ります。たくさんの正しい直しで 1 つの誤りを薄めないためです。
3. 層の点 は、その層の規則の点の平均（0〜2）です。
4. 足切り: 層A の規則に 1 つでも 2 点未満があれば不合格（意味の誤り）で、その問は 0 点です。
5. 合格した問の点 は 100 × Σ(層の重み × 層の点 / 2) / 100 です。総合点 は、131 問の点（不合格は 0 点）の平均です。

採点は 3 段で行いました。まず機械の検査が、必ず残す語（must）、出てはいけない語（forbid）、英語の表記、数字の表記、箇条書きの形などを照合します（主に A1〜A3・B1〜B3・D1〜D4・C1）。次に、2 つの LLM の採点者が、同じ入力・同じ出力・同じ機械の結果・同じ採点の手引き（v0.6.2）で、履歴を共有せずに別々に採点します（推量の強さ・発話の種類・言い直しの扱いなど、機械で見られない部分）。採点者には製品名を見せていません。2 つの採点が規則ごとに一致したものはそのまま確定し、割れた規則だけを人が判定しました（判定の案は AI が作り、作成者が問ごとに確定）。

公開した判定（results/judgments.jsonl）には、割れて人が判定した規則が 198 件（5 つの設定 × 131 問のうち 147 の組）あります。そのうち 145 件は減点なしの判定でした。理由で多かったのは、同じ 1 つの直しを複数の規則で重ねて数えない（73 件）と、辞書の指定がない固有名詞の同じ読みの別表記など、表記の違いを意味の誤りにしない（38 件）です。採点の割れの多くは、出力の良し悪しではなく、規則の当てはめ方（物差しの側）から来ていました。判定の方針は採点の手引きの「判断の方針」に載せ、問ごとの判定と短い理由も公開しています。割れた規則の判定は、判定の案は AI が作り、作成者が問ごとに確定しました。

測定の条件

各製品の有料版（Pro。SayonaraType は版 1.3.0）を、初期設定のまま・辞書の登録なしで、2026 年 11 月に測りました。変えたのは、マイク（仮想の入力 BlackHole 2ch）・ホットキー・学習に使わない設定だけです。新しい利用者の状態にそろえ、131 問の間で条件をそろえるため、それまでに覚えた語・書き方・履歴は消しました。測っている間に溜まる履歴は、製品の振る舞いとして扱いました。

音声は 1 社ずつ、問ごとに仮想の入力に流し、各製品のホットキーで録音を始め・止め、入った文字を保存しました。文字が 5 秒変わらなくなったら入りきったとみなし、話し終えてから最大 2 分待ちました。製品には音声だけを渡し、問に付けた文脈（「文脈あり」の 4 問の直前のやりとり）は渡していません。速さも記録しましたが、この結果には使っていません。

SayonaraType は 3 回測り、3 回目を正式な回としました。3 回目は、公開版 1.3.0 のアプリで、2026 年 11 月 4 日 17 時 23 分にサーバーの代替の経路（通常の処理が返らないときの経路）を変えた後の構成で測りました。整形のモデル・指示文・辞書（なし）は 3 回とも同じです。それ以前の 2 回（変更前の代替の経路）は、代替の経路を通った問が正式な回の条件（2 問以下）を超えたため（6 問・11 問）、結果に含めていません。代替の経路の変更は、この 2 回の後に行いました（1 回目は機械採点まで済んでいました）。正式な回の条件は、結果を見る前に決めました。採用した回で代替の経路を通った問は 1 問です。測定はこの時点の構成によるもので、その後の更新でサーバーの設定は変わっています（2026 年 11 月 9 日に、代替の経路に回すまでの待ち時間を短縮）。

Aqua Voice の 2 つの設定は、利用者が設定の画面で選べるモデルごとの結果として 2 行で載せます。同じ条件で測った結果、131 問のうち 102 問は 2 つの設定の出力が一字一句同じでした（改行の違いを除く）³。

データカード

問題

131 問（v0 コア 60・整形の 36 問・新しい 35 問）。ジャンルはチャット 60・記録 46・メール 13・AI への指示 12

音声

すべて合成音声（VOICEVOX・Microsoft Azure Neural TTS・Amazon Polly の 6 声）。実在の人の声は含まない。製品の測定に使った 131 本は計 約 26 分（1 本 1.4〜60.2 秒）

採点

4 層のルーブリック v1.0（46 項目）。機械の検査と 2 つの LLM の二重採点、割れたところは人が判定（判定と理由を公開）

ライセンス

文字 CC BY 4.0・コード MIT・音声は評価専用

学習への利用

問と期待出力を学習に使わないでください（全ファイルにカナリア文字列）

結果

総合点と意味の誤り

総合点（0〜100）

• Typeless91.3
• SayonaraType89.7
• Aqua Voice（Avalon 1.5）57.8
• Aqua Voice（Whisper）58.4
• Wispr Flow57.6

層A の誤りの数（131 問中・少ないほどよい）

• Typeless11
• SayonaraType13
• Aqua Voice（Avalon 1.5）54
• Aqua Voice（Whisper）53
• Wispr Flow52

総合点は 0〜100 で、層A（意味）に誤りがある問を 0 点として 131 問で平均しました。

層ごとの点

層A 意味（0〜100）

• Typeless99.2
• SayonaraType99.1
• Aqua Voice（Avalon 1.5）96.6
• Aqua Voice（Whisper）96.6
• Wispr Flow96.8

層B 言いよどみと言い直し（0〜100）

• Typeless99.0
• SayonaraType98.7
• Aqua Voice（Avalon 1.5）93.3
• Aqua Voice（Whisper）91.6
• Wispr Flow82.0

層C 構造（0〜100）

• Typeless99.6
• SayonaraType99.5
• Aqua Voice（Avalon 1.5）98.1
• Aqua Voice（Whisper）98.3
• Wispr Flow98.2

層D 表記（0〜100）

• Typeless99.7
• SayonaraType99.6
• Aqua Voice（Avalon 1.5）96.9
• Aqua Voice（Whisper）97.0
• Wispr Flow97.6

層ごとの点は、足切りの前の、131 問の層の点（0〜2）の平均を 0〜100 にしたものです。層A の点が 96〜99 と高く見えるのは、1 問で 12 の規則の平均を取るためで、1 つの規則が 0 点でも層A の点は 1.83 にしか下がりません。足切りはこの平均ではなく、1 つでも 2 点未満があるかで決まります。

問題の種類別の点

種類ごとの点は、総合点と同じ式（その種類の問の点の平均。不合格は 0 点）で出しました。括弧の中は層A の誤りの数です。種類によって採点する規則が違うので、この表は同じ種類の中で製品を見比べるためのもので、種類どうしの難しさは比べられません。問の数が少ない種類（メール 13 問・AI への指示 12 問）は、1 問の違いで点が大きく動きます。

問の元別:

ジャンル別:

短文の印別:

整え方を試す短い発話（整形の 36 問）では 5 つの設定の点が 90〜100 に集まり、意味の誤りはどの設定も 0〜2 問でした。採点の語を埋め込んだ v0 コアと、新しい 35 問では、層A の誤りの数に大きな開きが出ました。

製品どうしの差の確かめ

同じ 131 問の組で比べました（対応のある比べ）。意味の誤り（層A の誤り）は、問ごとの最終の判定で数えています。

• 意味の誤りの差: McNemar 検定（片方だけが誤りの問での、正確な二項検定・両側）
• 総合点の差: 問ごとの点（不合格は 0 点）の差の平均と、問を選び直すブートストラップ（10,000 回・乱数の種 20261104・百分位法）の 95% の幅

131 問では、Typeless と SayonaraType の差は統計的に区別できません。意味の誤りは片方だけが誤った問が 5 問と 7 問で、総合点の差の 95% の幅は 0 を含みます。131 問・1 問 1 声の大きさでは、この 2 製品の差（2 問・1.6 点）を見分けられません。Aqua Voice の 2 つの設定の差も、同じく 0 を含みます。

Typeless・SayonaraType と、Aqua Voice の 2 つの設定・Wispr Flow との 6 つの組では、McNemar 検定の p はいずれも 0.001 未満で（8 つの比べで多重比較を補正しても 0.05 を下回ります）、総合点の差の 95% の幅も 0 を含みません。上の 2 製品が、測った問の 9 割前後で意味を保ったのに対し、下の 3 つの設定は 4 割前後の問で意味の誤りがありました。

観測：意味の誤りの中身と、言いよどみの扱い

• 意味の誤りは 5 つの設定の合計で 183 件あり、そのうち 162 件（約 89%）が A1（内容語・用語の取り違えや欠落）を含んでいました。業界の用語や固有名詞が、音の近い別の語になる誤りが中心です（7 章）。A1 以外では、補い（A11）、接続（A8）、推量の強さ（A6）、疑問の形（A10）がありました。
• 層B の点の差は、主にフィラーの扱い（B1）と、言い直す前の語の残り（B2）から来ていました。
• Typeless と SayonaraType でも、意味の誤りは 11 問と 13 問ありました。業界の用語の取り違えのほか、話していない語の補い、短い前置きの欠落、疑問の文末が平叙になったものです（7 章）。

誤りの分析

5 つの設定で出力が分かれた例を、層と規則ごとに挙げます。「入力の文」は合成音声で読み上げた台本です。各製品の出力は、測定で入った文字をそのまま載せています（末尾の空白は省き、改行は ↵ で示しました）。判定と点は公開した results/judgments.jsonl のものです。

層A：意味の誤り

用語の取り違え（A1）。業界の用語が、音の近い別の語になる誤りです。v0-054（チャット）の例です。

入力の文: この件は決裁を取ってから進めます。稟議は部長承認までで足りるので、今週中に起案して、来週の経営会議には結果報告だけにしたいです。

「稟議」が「便宜」「倫理」になると、文の形は整っていても、受け取った人は何の承認の話か分かりません。機械の検査が、必ず残す語「稟議」の欠落として検出しました。

疑問の文末（A10）。話し手の態度は文末に集まります。v1-d35（AI への指示・長い発話）の最後の 1 文を抜き出しました。

入力の文（最後の 1 文）: あ、それと、この問題って本番環境でも起きてると思う？

「起きてると思う？」は相手の見立てを尋ねる質問ですが、「思う。」で終わると話し手自身の意見の表明になります。AI への指示では、答えてほしい質問が答えられないまま残ります。4 つの設定がこの文末を平叙にしました。

話していない語の補いと、短い語の欠落（A11・A1）。言っていないことを足すのも、言ったことを削るのも、意味の誤りです。

v1-d01（AI への指示）の入力の文: えっと、このシーエスブイを読み込んで、ユーザーIDごとに、あの、購入回数と合計金額を集計して、ジェイソンで返してください。カラム名は英語で。

ext:21（チャット）の入力の文: 了解です、明日送ります。

v1-d01 では、話していない「お願いします」を足した出力を A11（補い）の誤りとしました。ext:21 では、「了解です」という応答の語が落ち、相手への返事としての働きが消えたため A1 の誤りです。どちらも語が整って見えるので、読み手が気づきにくい誤りです。

層B：言いよどみと言い直し

化けたフィラー（B1）。ext:17（チャット）の例です。

入力の文: 今回の変更は、えー、既存のユーザーには影響しないです。

「えー」が英字の「A」として残ると、読み手はそれを間埋めと分からず、内容の一部（A というもの）として読みます。採点の手引きの判断の方針では、化けたフィラーが 1 つでも残れば B1＝0 としています。

言い直す前の語の残り（B2・B3）。

ext:28（チャット）の入力の文: 見積もりは三件、あ、違う、四件届いています。

ext:29（チャット）の入力の文: 担当は田中さん、じゃなくて佐藤さんにお願いします。

ext:29 は、4 章の「言い直しと対比」の境目にある例です。話し手が「田中さん」と言いかけて取り消したので、期待出力は「佐藤さん」だけです。「田中さんじゃなくて」を残すと、読み手には田中さんが候補にあったように読めます。意味（層A）は保たれているので足切りにはせず、層B で減点しました。

層C：構造

3 項目以上の列挙（C1・C4）。v1-d08（AI への指示）の例です。

入力の文: テストケースを足してほしい。正常系と、えっと、境界値と、あ、あと異常系も。異常系は空文字と、ヌル、じゃなくてアンディファインドの二つで。

期待出力は、3 項目を箇条書きにした形です。箇条書きにして前の行との間に空行がない出力（C4＝1）と、項目を文のまま並べた出力（C1＝1）は、どちらも「合格だが低い」別解として扱いました。構造の層は許容範囲なので、意味が保たれていれば足切りにはしません。

層D：表記

同音異義語（D1）。v0-035（チャット）の例です。

入力の文: 防災訓練を10月の第2週に実施します。避難経路の確認と安否確認システムのテスト配信を行うので、全員参加でお願いします。終了後に講評の時間を取ります。

「講評」と「公表」は同じ読みの語で、文脈から「講評」に決まります（D1 の一意の側）。「安否」が「暗記」になったのは用語の取り違えで、A1 の誤りとして足切りになりました。改行の量の違い（Typeless の空行）は減点していません。

英語表記（D2）と、話していない改まった文末（D6）。v0-032（チャット）の例です。

入力の文: 360度評価の結果をもとに、マネージャー層向けの研修を企画します。特に1on1の質にばらつきがあるので、フィードバックの型を揃えたいです。対象は課長以上です。

「1on1」は英字の表記だけを正解とする語（exact）です。カタカナの「ワンオンワン」は D2 の誤りで、この問では必ず残す語「1on1」の欠落として A1 でも検出されました。Typeless の「揃えたいと考えています」は、チャットで話していない改まった文末を足し、話し手の距離感を変えたものとして D6＝1 にしました。Wispr Flow の「フィードバックの形」は、同じ読みで意味が通る表記として減点していません。

表記の別解は誤りにしない。v0-022 で Typeless が「ABテスト」を「A/B テスト」と書いた出力や、英字の前後に空白を入れた出力（「社内の VPN 接続」）は、同じ語の別の書き方として減点していません（A1＝2、D14）。一方で、v0-022 の「統計的に有意な差」を「優位な差」とした出力（Aqua Voice の Whisper の設定）は、文脈で一つに決まる漢字の誤りとして D1＝0 です。正解に幅がある部分と、一つに決まる部分を分けて採点しています。

限界

合成音声であること。すべての音声が合成音声です。発音が明瞭で一定なので、実際の話し声より聞き取りの成績が良く出やすく、フィラーや言い直しも台本の読み上げです。参考として、社内の測定で、話者 1 名の肉声（台本の読み上げ・静かな部屋）と、公開の 6 声とは別の合成音声 2 種を、同じ 60 問・同じ構成で比べた値があります。19 の構成の機械採点で、採点の語の正答率の差（肉声 − 合成音声）は、合成音声の 1 種に対して −2.5〜+0.3 ポイント（平均 −0.7）、もう 1 種に対して −0.4〜+2.8 ポイント（平均 +1.1）でした。この範囲では、肉声が合成音声より明らかに低いことはありませんでしたが、話者 1 名・読み上げの声での値で、自発的な話し声・声の個人差・雑音・マイクの違いには一般化できません。

問題の数。131 問・1 問 1 声の大きさでは、2 問・1.6 点の差は見分けられません（6 章）。声による違いは、6 声を均等に割り当てて平均で見ているだけです。

辞書なし・初期設定。辞書を登録したときや、使い続けて製品が利用者の語や書き方を覚えたときの品質は測っていません。辞書の効果は製品ごとに違いうるので、辞書ありの条件では結果が変わる可能性があります。

測った時点の版。各製品は 2026 年 11 月 2 日〜5 日の版を測りました。製品の更新で結果は変わります。

LLM による採点。機械で見られない部分は 2 つの LLM が採点し、割れた規則は人が判定しました。採点者には製品名を見せていませんが、判定は作成者の側で行いました。作成者は測った製品の 1 つ（SayonaraType）の開発元です（利益相反）。このため、問ごとの判定と人の判定の理由をすべて公開し、異議を受け付けています（9 章）。

構成の選び方。SayonaraType の公開版の構成（文章を整える LLM と指示文）は、本ベンチマークと同じ 131 問を使った社内の実験の点で選びました。選ぶときは問題を 2 つに分け、片方の点で候補を選び、もう片方で点が落ちないかを確かめました。指示文の例には、本ベンチマークの問題の語や文を使っていません。ただし、指示文の見直しのきっかけの一部（短い列挙を箇条書きにするか、言い直しの扱い）は、本ベンチマークの問題での出力から見つけました。それでも同じ問題の点で選んだため、SayonaraType の点は、新しい問題で測った場合より高めに出ている可能性があります。

扱っていない性質。次のものは v1 では採点していません。

• 声の調子や間のように、音声には乗っているが文字に残らない話し手の意図
• 方言・なまり、雑音のある場所、小声、自発的な話し声
• 長い発話（最長 60.2 秒）より長い口述、企画書やブログのような「文書」のジャンル
• 話し手の文体への適合（辞書・メモリの効果）
• 問に付けた文脈（直前のやりとり）を製品に渡したときの振る舞い（「文脈あり」の 4 問でも、製品には音声だけを渡した）
• ルーブリックの 46 項目のうち、v1 の 131 問のケースの規則と共通の規則のどちらにも入らなかった 8 項目（B5 言いかけてやめた節・B7 非語彙的な音・B8 聞き取りの誤り・C7 列挙と地の文の区別・C11 意味のまとまりの見出し・D5 丁寧さ・D12 長音・D15 略語）。また、ケースの規則にしか入らない規則（例: 言い直しの B2 は 24 問）は、それ以外の問では採点していません
• 語の区切り（分かち書きがないこと）による読み違いを、狙って試す問

再現する方法

問・期待出力・ルーブリック・採点の手引き・採点のコード・結果は GitHub（https://github.com/sayonaratype/ja-dictation-bench ）に、音声は Hugging Face（https://huggingface.co/datasets/sayonaratype/ja-dictation-bench 。承認制）に置いています。

公開した結果を確かめる。results/judgments.jsonl に、製品（設定）ごと・問ごとの最終の判定（合否・点・層ごとの点・規則ごとの点・人の判定と理由）があります。これと data/cases.jsonl を問の ID でつなげば、この報告の総合点・層ごとの点・種類別の点・対応のある比べを計算し直せます。

別の製品を同じ条件で測る。

1. Hugging Face で音声の利用を申請し、data/voice_assignment.csv で各問に割り当てた声の音声を用意します。
2. 測る製品を初期設定のまま・辞書の登録なしにし、それまでに覚えた語・書き方・履歴を消します。変えてよいのは、マイク（仮想の入力）・ホットキー・学習に使わない設定です。
3. 1 問ずつ音声を仮想の入力に流し、製品のホットキーで録音を始め・止め、入った文字を問ごとに保存します。文字が 5 秒変わらなくなったら入りきったとみなし、話し終えてから最大 2 分待ちます。入らなかった問は流し直します。
4. 出力を 1 行 1 問の JSON Lines（{"case_id": …, "text": …}）にし、リポジトリの根で python -m harness score outputs.jsonl を実行すると、機械採点の点が出ます（Python 3.10 以上・標準ライブラリだけ）。
5. 公開した結果と比べるには、機械採点のあとに、採点の手引き（docs/judge-guide.md・v0.6.2）で 2 つの LLM の二重採点を行い、割れた規則を手引きの「判断の方針」に沿って判定します。依頼の文と返事の形は harness の関数（judge.request_payload・judge.SCHEMA など）で作れます。機械採点だけでは、層B〜D は一部の問にしか検査がないので、層の点は二重採点の結果と比べられません。

測り方の詳細は docs/method.md にあります。

異議の申し立て。採点や人の判定に異議があれば、GitHub の Issue で受け付けます。問題の ID・規則・理由を書いてください。同じ型の異議が重なるときは、ルーブリックの版を上げるときに規則として書き分けます。

今後

次の版では、第三者の肉声を足し、合成音声との差を測り直します。

次の版からは、製品の構成の選定と指示文の見直しには、本ベンチマークに含めない別の問題を使います。本ベンチマークは、選んだ後の構成を測るためだけに使います。

本ベンチマークの規則は、日本語の述語の階層、話し言葉のコーパスの転記の体系、表記の公的な基準から導きました。言語の構造から評価の基準を導く方法は、他の言語にも適用できると考えています。

引用の仕方

本ベンチマークやこのレポートを使った場合は、次のように引用してください。

熊谷渓司・SayonaraType 研究チーム（2026）「ja-dictation-bench v1：日本語の音声入力を、文章を整えるところまで測るベンチマーク」CACTUS TOKYO Inc. https://github.com/sayonaratype/ja-dictation-bench

データ（問・期待出力・ルーブリック・結果）を再配布するときは、CC BY 4.0 の表示として "ja-dictation-bench by CACTUS TOKYO Inc., CC BY 4.0" を添えてください。BibTeX は次のとおりです。

@misc{kumagai2026jadictationbench,
  title        = {ja-dictation-bench v1：日本語の音声入力を、文章を整えるところまで測るベンチマーク},
  author       = {Kumagai, Keiji and {SayonaraType Research Team}},
  year         = {2026},
  howpublished = {\url{https://github.com/sayonaratype/ja-dictation-bench}},
  note         = {Version v1. CACTUS TOKYO Inc.}
}

参考文献

• 益岡隆志（1991）『モダリティの文法』くろしお出版（岡部による要約を参照：岡部「日本語のモダリティ研究の階層論」千葉大学『語文論叢』28 https://opac.ll.chiba-u.jp/da/curator/900116938/gobun28_okabe.pdf）
• 日本語記述文法研究会編（2003）『現代日本語文法4 モダリティ』くろしお出版（CiNii Books BA64614367）
• 小磯花絵・間淵洋子・西川賢哉・斎藤美紀・前川喜久雄「転記テキストの仕様 Version 1.0」『日本語話し言葉コーパス』国立国語研究所（文書に刊行年の記載はなく、PDF の作成日は 2004 年 3 月 29 日） https://clrd.ninjal.ac.jp/csj/manu-f/transcription.pdf
• 文化審議会（2022）「公用文作成の考え方（建議）」2022 年 1 月 https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo/hokoku/pdf/93731901_01.pdf
• holotherapper（2026）「世界初の日本語音声認識ベンチマークを作ったよん」Zenn、2026 年 4 月 14 日（ADLIB の解説） https://zenn.dev/holotherapper/articles/adlib-asr-bench ／ ADLIB https://github.com/holotherapper/adlib

SayonaraType（測定した製品の一つ）: https://sayonaratype.com/ja/

注

1. Aqua Voice の公式の記載（2026-11-05 に確認）。公開ベンチマークの docs/method.md の「Aqua Voice の測り方の記録」に、出典の URL とともに記録しています。 ↩
2. 整形ルーブリック v1.0（docs/rubric.md）と採点の手引き v0.6.2（docs/judge-guide.md）。https://github.com/sayonaratype/ja-dictation-bench ↩
3. 同じモデルを 2 回測ったときにどれだけ違うかは測っていないので、違った 29 問がモデルの違いによるものか、毎回の揺れによるものかは分かりません（docs/method.md）。 ↩

変更履歴

• v1　2026-11-05　公開ベンチマーク v1 を公開
• v1　2026-11-09　研究レポートを公開