論文の概要: Experience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-Speech

• arxiv url: http://arxiv.org/abs/2608.00722v1
• Date: Sat, 01 Aug 2026 15:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.877804
• Title: Experience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-Speech
• Title（参考訳）: LM-based Text-to-Speechにおける幻覚の緩和のための経験校正コントラスト復号法
• Abstract要約: 言語モデルに基づくテキスト音声合成(LM-based TTS)は、ターゲットテキストから逸脱する音声幻覚に弱いままである。 本稿では,テキストからのアライメント情報を経験情報と区別する条件情報ビューを提案する。 本稿では,経験情報を保持しつつアライメント支援を強化するトレーニング不要なCD(Experience-Calibstive Contrastive Decoding)を提案する。
• 参考スコア（独自算出の注目度）: 25.75512357205199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model-based text-to-speech (LM-based TTS) remains vulnerable to speech hallucinations that deviate from the target text. Existing mitigation mainly relies on architectural changes or additional training, while decoding-time control remains underexplored. We present a conditional information view that distinguishes text-derived alignment information from experience information supplied by acoustic context and learned speech regularities. We hypothesize that an important class of hallucinations begins when alignment support is insufficiently reflected in the selected token at a vulnerable transition. Using predictions from the same speech LM with and without text conditions, we propose Experience-Calibrated Contrastive Decoding (ECCD), a training-free method that strengthens alignment support while preserving useful experience information. ECCD preserves the original expert distribution, applies only positive alignment enhancement, and calibrates its strength using set-level experience compatibility. Across four models, ECCD reduces WER/CER by up to 55.6% in all SeedTTS-Eval settings and 24 of 25 multilingual CV3-Eval settings. A listening test yields a CMOS gain of $+0.644$ while retaining strong speaker similarity. Further analysis shows that alignment influence and decision-level gain vary within linguistic units and are lower at first-error boundaries than at matched correct boundaries. Overall, these extensive experiments and analyses identify conditional information control as a promising decoding-time direction for mitigating speech hallucination.
• Abstract（参考訳）: 言語モデルに基づくテキスト音声合成(LM-based TTS)は、ターゲットテキストから逸脱する音声幻覚に弱いままである。 既存の緩和は主にアーキテクチャの変更や追加のトレーニングに依存し、デコード時の制御は未調査のままである。 本稿では,テキストからのアライメント情報と,音環境や学習音声の規則性から得られる経験情報とを区別する条件情報ビューを提案する。 我々は、弱い遷移において、選択されたトークンにアライメントサポートが不十分に反映されたときに、重要な幻覚のクラスが始まると仮定する。 そこで本研究では,テキスト条件と無条件の同一音声LMからの予測を用いて,有用な経験情報を保持しつつアライメント支援を強化するトレーニング不要な手法である経験校正コントラストデコーディング(ECCD)を提案する。 ECCDは、元の専門家分布を保持し、正のアライメント強化のみを適用し、設定レベルのエクスペリエンス互換性を使用してその強度を校正する。 4つのモデルで、ECCDは、SeedTTS-Eval設定でWER/CERを最大55.6%減らし、25の多言語CV3-Eval設定で24を減らした。 リスニングテストは、強い話者類似性を保ちながら、CMOSゲインが$+0.644$となる。 さらに分析したところ、アライメントの影響と決定レベルゲインは言語単位によって異なり、一致した正しい境界よりもファーストエラー境界では低いことがわかった。 これらの広範な実験と分析により、条件情報制御は、音声幻覚を緩和するための有望な復号化方向として特定される。

関連論文リスト

• Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
  本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。 我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。 語彙的証拠が不十分な場合には韻律が重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-20T00:16:36Z)
• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing [8.921166277011347]
  モデルが既に両方のスタイルを符号化していることを示し、その課題はアクティベーションを制御することである。 パラレルな冗長/意図された転写文字ペアで訓練されたカバレッジ対応デコーダタスクトークンを用いて、ドイツの拡散F1を10%から79%ゼロショットに引き上げる。 完全な英語のみの微調整は、動詞の精度、拡散検出、および両方の言語にわたる意図されたモードの品質において、すべてのベースラインを超えている。
  論文  参考訳（メタデータ） (2026-07-21T10:19:17Z)
• From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection [13.55239135877789]
  ASRモデルの幻覚は下流のアプリケーションにリスクをもたらす。 本稿では,Whisperの大容量v3幻覚検出法について検討する。
  論文  参考訳（メタデータ） (2026-06-22T09:13:04Z)
• Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages [3.5238606794194816]
  ソーシャルメディアが音声による対話へとシフトするにつれ、虐待的音声検出の重要性が高まっている。 コントラスト言語-オーディオ事前学習が、音声から直接虐待的音声検出を支援できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-04-10T08:23:03Z)
• ACT Now: Preempting LVLM Hallucinations via Adaptive Context Integration [71.21097024566285]
  LVLM(Large-Language Models)はしばしば深刻な幻覚に悩まされる。 既存の緩和戦略は、視覚的焦点を強化するか、強い先行を抑えるために、言語的、単一段階の状態に依存している。 本研究では,適応的な文脈情報の統合を通じて幻覚を緩和する学習自由推論介入手法であるAdaptive Context in VisionTegration (ACT)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:49:50Z)
• Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
  音声とテキストの表現が階層的にどのように進化するかを分析する。 音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:21:43Z)
• Eliminating stability hallucinations in llm-based tts models via attention guidance [54.69225348397135]
  本稿では,テキスト音声(TTS)モデルにおける安定性の幻覚の解消に注目する。 我々は,テキスト音声アライメントの品質を評価するためにビタビアルゴリズムを用いて,最適アライメントスコア(OAS)と呼ばれるメトリクスを提案した。 提案法は,CosyVoice2の安定性を負の効果を伴わずに効果的に抑制することができる。
  論文  参考訳（メタデータ） (2025-09-24T07:47:52Z)
• Representation Purification for End-to-End Speech Translation [16.967317436711113]
  音声からテキストへの変換(英語: Speech-to-text translation, ST)とは、音声を別の言語でテキストに変換する作業である。 我々は,コンテンツに依存しない要素とコンテンツ関連要因の組み合わせとして,音声表現を概念化する。
  論文  参考訳（メタデータ） (2024-12-05T15:50:44Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases [79.07111754406841]
  本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。 本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
  論文  参考訳（メタデータ） (2024-02-01T14:46:35Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。