論文の概要: Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
- arxiv url: http://arxiv.org/abs/2608.24707v1
- Date: Tue, 25 Aug 2026 15:24:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.062978
- Title: Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
- Title（参考訳）: 音声の喪失:音声と音符間の三言語的幻覚検出
- Abstract要約: 英語,ロシア語,カザフ語にまたがる12,013のニュースサンプルからなる,最初の多言語音声幻覚ベンチマークを示す。
合成コーパスをロシア語(225件)とカザフ語(65件)で収集した290件の偽ニュースを補完し、他の言語に翻訳し、同じTS-ASRパイプラインを通してレンダリングする。
我々は、微調整された多言語エンコーダと、ゼロショットのインコンテキスト設定において、書き起こしベースと直接オーディオ処理によるマルチモーダルデコーダモデルを評価する。
- 参考スコア（独自算出の注目度）: 3.9934208032439495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While text-based hallucination detection has been extensively studied, spoken hallucination detection remains largely unexplored, particularly for low-resource languages. We present the first multilingual spoken hallucination benchmark comprising 12,013 news samples across English, Russian, and Kazakh with controlled hallucinations of three types and three severity levels. Samples comprise original articles and aligned hallucinated counterparts in text and audio. We complement the synthetic corpus with 290 fact-checked fake news items collected natively in Russian (225) and Kazakh (65), translated into the other language and rendered through the same TTS-ASR pipeline. We assess fine-tuned multilingual encoders and, in zero-shot in-context settings, multimodal decoder models on transcript-based versus direct audio processing. Transcript-based detection generally outperforms direct audio processing, with binary-task degradation for strong encoders tracking per-language ASR error. On real-world fakes, synthetic-trained detectors transfer strongly (macro-F1 0.82-0.88 on original text), while Russian provenance analysis reveals both veracity-related and model-dependent machine-style signals, quantifying a key confound in synthetic hallucination benchmarks.
- Abstract（参考訳）: テキストベースの幻覚検出は広く研究されているが、音声による幻覚検出は、特に低リソース言語では、ほとんど探索されていない。
英語,ロシア語,カザフ語にまたがる12,013のニュースサンプルからなり,3種類の幻覚と3つの重度レベルを制御した最初の多言語音声幻覚ベンチマークを示す。
サンプルはオリジナル記事からなり、テキストとオーディオで幻覚に富んだもので構成されている。
合成コーパスをロシア語(225件)とカザフ語(65件)でネイティブに収集した290件の事実チェック済みの偽ニュースアイテムで補完し、他の言語に翻訳し、同じTS-ASRパイプラインを通してレンダリングする。
我々は、微調整された多言語エンコーダと、ゼロショットのインコンテキスト設定において、書き起こしベースと直接オーディオ処理によるマルチモーダルデコーダモデルを評価する。
Transcriptベースの検出は、言語毎のASRエラーを追跡する強力なエンコーダに対して、バイナリタスクの劣化によって直接オーディオ処理よりも優れる。
実世界の偽物では、合成学習された検出器が強く伝達する(原文ではmacro-F1 0.82-0.88)のに対し、ロシアの証明分析では、妥当性とモデルに依存した機械的な信号の両方が示され、合成幻覚ベンチマークにおいて重要な欠点を定量化している。
関連論文リスト
- TRILOGUE: A Trilingual Spoken Dialogue Fact-Checking Benchmark with Evidence and Paired Audio [9.752328576025263]
TRILOGUEは、英語、ロシア語、カザフ語における音声対話の大規模な三言語ベンチマークである。
クレームチェック可否検出、ソース・アーティクル証拠検索、クレームのみ、ゴールド・エビデンス、検索されたエビデンス入力によるクレーム検証をサポートする。
論文 参考訳（メタデータ） (2026-09-03T20:14:48Z) - From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection [13.55239135877789]
ASRモデルの幻覚は下流のアプリケーションにリスクをもたらす。
本稿では,Whisperの大容量v3幻覚検出法について検討する。
論文 参考訳（メタデータ） (2026-06-22T09:13:04Z) - Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages [3.5238606794194816]
ソーシャルメディアが音声による対話へとシフトするにつれ、虐待的音声検出の重要性が高まっている。
コントラスト言語-オーディオ事前学習が、音声から直接虐待的音声検出を支援できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-04-10T08:23:03Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。
テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
論文 参考訳（メタデータ） (2025-05-26T07:21:20Z) - Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。
自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。
我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2024-02-16T08:10:34Z) - Towards a Deep Understanding of Multilingual End-to-End Speech
Translation [52.26739715012842]
我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。
我々は分析から3つの大きな発見を得た。
論文 参考訳（メタデータ） (2023-10-31T13:50:55Z) - Speech collage: code-switched audio generation by collaging monolingual
corpora [50.356820349870986]
Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。
2つのシナリオにおける音声認識における生成データの影響について検討する。
論文 参考訳（メタデータ） (2023-09-27T14:17:53Z) - Detecting and Mitigating Hallucinations in Multilingual Summarisation [40.5267502712576]
幻覚は抽象的な要約のためのニューラルネットワークの信頼性に重大な課題をもたらす。
我々は、非英語要約の忠実度を評価する新しい計量mFACTを開発した。
そこで我々は,言語間移動による幻覚を減らすための,シンプルだが効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-23T02:59:25Z) - LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and
Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。
ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文 参考訳（メタデータ） (2022-11-05T04:03:55Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳（メタデータ） (2020-04-21T17:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。