Whisperで文字起こしを実務に載せる。精度が落ちる原因と対処

OpenAIが公開している音声認識モデルWhisperは、導入するだけなら難しくありません。実務でつまずくのは、動かしたあとです。会議の録音を流し込んでみると、話していない区間に文章が湧いて出たり、社名や担当者名が別の語に置き換わったりします。本記事では、自社で会議音声の文字起こしを運用する中で実際に踏んだ問題と、その対処を整理します。ツールの一覧や料金比較ではなく、動かしたあとに何が起きるかに絞ります。

Whisperとは何か

WhisperはOpenAIが2022年9月に公開した音声認識モデルです。OpenAIは公開時のアナウンスで、Whisperが多言語かつマルチタスクの教師あり学習によって、ウェブから収集した68万時間の多言語・マルチタスクデータで訓練されたことを説明しています（出典: OpenAI「Whisper が登場」 https://openai.com/ja-JP/index/whisper/ ）。

利用形態は大きく二つに分かれます。OpenAIのAPI経由で使う方法と、モデルをローカル環境にダウンロードして動かす方法です。前者は環境構築が不要な代わりに音声データが外部に送信されます。後者は手元で完結しますが、実行環境を自前で用意する必要があります。会議の録音には取引先の社名や未公開の数字が含まれることが多く、この一点でローカル実行を選ぶケースがあります。

実務で最初に困るのはハルシネーション

Whisperを会議録音に使ったとき、最初に目につく問題は誤変換ではありません。話していない区間に、存在しない文章が生成されることです。

典型的なのは、無音区間やノイズだけの区間で同じ語句が延々と繰り返される現象です。数十秒にわたって意味のない短い語が反復して出力されることがあります。会議の冒頭で参加者が集まるまでの雑音、休憩中の環境音、録音の末尾に残った無音などが引き金になります。

この現象が厄介なのは、出力されたテキストが日本語として自然に読めてしまう点です。誤変換であれば読んだ時点で気づきますが、生成された文章はそれらしく整っているため、後から議事録を読む人が実際の発言と区別できません。精度の問題というより、事実と虚構が混ざるという性質の問題です。

対処

実装上は、次の二つの設定が効きます。

一つは、直前の出力を次の推論の文脈として使わない設定です（condition_on_previous_text を無効にする）。Whisperは既定では直前に生成したテキストを参照して次を予測しますが、一度おかしな出力が始まると、それ自体が文脈として引き継がれて反復が加速します。この参照を切ると、反復が連鎖しにくくなります。

もう一つは、無音判定のしきい値を設けることです（hallucination_silence_threshold）。一定時間以上の無音が続く区間を推論の対象から外します。

対処のときに避けたいこと

ここで一つ、実装の判断として重要な点があります。反復しているテキストを後処理で機械的に削除する実装は避けたほうがよいと考えられます。

同じ語句の繰り返しを検出して消す処理を書くと、実際に繰り返された発言まで消えます。「はい、はい、はい」という相槌や、確認のために同じ数字を二度読み上げる場面は、会議では普通に起きます。生成されたものと実際の発言を、文字列のパターンだけで見分けることはできません。

自社では、信頼度が低いセグメントを削除せず、[要確認] のようなマーカーを付けて残す形にしました。読む側が「ここは疑ってよい」と分かる状態にしておき、判断は人に残します。消してしまうと、消えたこと自体が分からなくなります。

固有名詞は誤認識する前提で設計する

会議の文字起こしで実用上いちばん困るのは、社名・製品名・担当者名です。一般的な語彙に引きずられて、まったく別の語に変換されます。

Whisperには、認識を特定の語彙に寄せるためのプロンプト（initial prompt）を渡す仕組みがあります。事前に分かっている固有名詞をカンマ区切りで渡しておくと、認識精度が上がります。

ただし制約があります。前述の `condition_on_previous_text` を無効にしていると、このプロンプトは音声の先頭付近にしか強く作用しません。 文脈の引き継ぎを切っているため、長時間の録音では後半に効きにくくなります。ハルシネーション対策と固有名詞対策は、この点でトレードオフの関係にあります。

実務上は、次のように割り切るのが現実的だと考えられます。

• 参加者名・社名など、事前に分かっている語は渡しておく
• それでも後半の誤認識は残る前提で、固有名詞は目視で確認する工程を残す
• 未知の固有名詞（初出の企業名など）は、そもそも認識できないものとして扱う

「AIに任せれば議事録が完成する」ではなく、「下書きが8割できた状態から人が直す」という前提で運用設計をしたほうが、結果的に早くなります。

前処理は効くこともあれば逆効果にもなる

音声の前処理で精度が変わります。一般的には、ノイズ除去・音量の正規化・サンプリングレートの統一（16kHzモノラル）を行うと認識が安定します。

ただし、前処理が常に有効とは限りません。 残響の多い会議室で録音した音声にノイズ除去をかけると、除去処理が音声成分まで削ってしまい、かけないほうが精度が高くなる場合があります。

ここは録音環境ごとに変わるため、事前に「この設定が正解」と決められません。前処理のオン・オフを切り替えられるようにしておき、同じ音源で両方試して比較するのが確実です。新しい会議室や新しい録音機材を使い始めたときは、一度試し直す価値があります。

モデルサイズの選び方

Whisperには複数のサイズのモデルがあります。大きいモデルほど精度は高く、処理時間は長くなります。

判断の目安としては、次のように分けられると考えられます。

• 議事録として残す・後から参照する用途では、精度の高い大きめのモデルを使う。処理時間は長くなるが、修正工数のほうが高くつく
• その場で内容を確認したいだけの用途では、軽量なモデルで十分な場合がある

会議1本あたりの処理時間が数分伸びても、人が聞き直して直す時間に比べれば小さいことが多く、迷ったら精度側に倒すほうが実務では合理的だと考えられます。

三つの問題と対処の整理

ここまでの内容を、判断できる形にまとめます。

いずれも「設定で軽減できるが、ゼロにはならない」という性質です。運用設計は、残ることを前提に組む必要があります。

音声を外部に出すかどうかの判断

Whisperを外部APIで使うか、ローカルで動かすかを分ける最大の論点はここです。そして、この判断は誤解されやすい部分を含んでいます。

「クラウドに置いたら第三者提供にあたるので本人の同意が必要」と考えられがちですが、個人情報保護委員会の見解はそうではありません。同委員会のQ&Aは、クラウドサービスの利用が第三者提供（法第27条第1項）または委託（同条第5項第1号）に該当するかどうかは、保存している電子データに個人データが含まれているかどうかではなく、クラウドサービスを提供する事業者において個人データを取り扱うこととなっているのかどうかが判断の基準となると示しています。当該事業者が個人データを取り扱わないこととなっている場合には、個人データを提供したことにならないため本人の同意は不要であり、法第25条に基づく監督義務も生じないとされています。そして「取り扱わないこととなっている場合」とは、契約条項によって外部事業者がサーバに保存された個人データを取り扱わない旨が定められており、適切にアクセス制御を行っている場合等が考えられる、と説明されています（出典: 個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン」に関するQ&A Q7-53 https://www.ppc.go.jp/all_faq_index/faq1-q7-53/ ）。

つまり、判断すべきは「クラウドかどうか」ではなく「そのサービスが音声データを取り扱う契約になっているかどうか」です。文字起こしサービスの多くは音声を解析するため処理を行いますが、その扱いが契約上どう定められているかは、サービスごとに確認する必要があります。

なお、第三者提供に該当しない場合であっても、利用する側の義務がなくなるわけではありません。同Q&Aは、法第27条の「提供」に該当しない場合には委託先の監督義務は課されないものの、クラウドサービスを利用する事業者は、自ら果たすべき安全管理措置の一環として、適切な安全管理措置を講じる必要があるとしています（出典: 個人情報保護委員会 同Q&A Q7-54 https://www.ppc.go.jp/all_faq_index/faq1-q7-54/ ）。

サービス提供事業者の側が個人情報取扱事業者に該当する場合の留意点についても、個人情報保護委員会が令和6年3月25日付で注意喚起を公表しています（出典: 個人情報保護委員会「クラウドサービス提供事業者が個人情報保護法上の個人情報取扱事業者に該当する場合の留意点に関する注意喚起について」令和6年3月25日 https://www.ppc.go.jp/news/careful_information/240325_alert_cloud_service_provider/ ）。

会議の録音には、参加者の氏名や取引先の担当者名が含まれます。どのサービスを使うかを決める前に、利用規約と契約条項で音声データの取扱いがどう定められているかを確認しておくことをおすすめします。なお、本記事は法令の一般的な整理であり、個別の事案における該当性の判断は弁護士等の専門家にご確認ください。

そのほかに決めておきたいこと

誰が確認するか。 固有名詞の誤認識とハルシネーションは、設定でゼロにはできません。文字起こしを誰が読んで直すのか、その工程を業務フローに入れておかないと、精度の低い議事録がそのまま共有されます。

どこまでを自動化の対象にするか。 文字起こしまでを機械に任せ、要約と決定事項の抽出は人が行う、という切り分けが現実的な場合があります。全部を自動化しようとして精度が足りず、結局使われなくなるという結末は避けたいところです。

まとめ

Whisperの導入自体は難しくありません。実務でつまずくのは、動かしたあとに出てくる三つの問題です。無音区間で文章が生成されるハルシネーション、固有名詞の誤認識、そして環境によって逆効果になる前処理。いずれも設定である程度は軽減できますが、ゼロにはなりません。

重要なのは、これらが残る前提で運用を設計することだと考えられます。生成された可能性のある箇所を消さずに印を付けて残す、固有名詞は人が確認する工程を残す、録音環境が変わったら設定を試し直す。この三つを運用に組み込めば、文字起こしは十分に実務で使えます。

自社の業務にAIをどう組み込むか、どこまでを機械に任せてどこから人が見るのかの切り分けから相談したい場合は、企業からのご相談もご検討ください。オンラインでの打ち合わせを基本としつつ、必要に応じて訪問しての対応も可能です。