論文の概要: HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding

• arxiv url: http://arxiv.org/abs/2608.29120v1
• Date: Sat, 29 Aug 2026 08:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.843822
• Title: HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding
• Title（参考訳）: ボイス・グラウンドを通した話者による推論をアンロックするHEAR
• Abstract要約: 音声言語モデル(SLM)は、ますますマルチスピーカー環境にデプロイされている。 しかし、音声を正しい話者とみなし、話者の身元を判断する能力は、いまだに不明である。 本稿では,話者対応推論の基礎的能力を診断するベンチマークHEARを紹介する。 A2Rは、話者レベルのハードな負を持つ非現実的オーディオに最適化された30Bモデルである。
• 参考スコア（独自算出の注目度）: 54.365959989048406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech Language Models (SLMs) are increasingly deployed in multi-speaker environments, yet their ability to attribute speech to the correct speaker and reason over speaker identities remains unclear. Hence, we introduce HEAR, a conceptually hierarchical benchmark diagnosing the foundational capabilities of speaker-attributed reasoning, comprising 2.4K human-verified samples from 887 diverse multi-party audio clips. Evaluating 20 leading SLMs on HEAR reveals they struggle with these foundational tasks, often relying on semantic priors rather than actual vocal cues. To address this, we present A2R, a 30B model optimized on Counterfactual Audio with Speaker-level Hard negatives (CASH), a dataset designed to guide the model to prioritize acoustic vocal cues over linguistic signals. A2R achieves strong performance on HEAR and exhibits zero-shot generalization to diverse multi-speaker downstream tasks, demonstrating that learned speaker attribution unlocks the model's latent capacity for speaker-aware reasoning. All resources are available at https://attributetoreason.github.io/AttributeToReason/
• Abstract（参考訳）: 音声言語モデル (SLM) は, 多話者環境での展開が進んでいるが, 話者の正しさと話者の同一性に対する理由が不明である。 したがって、HEARは概念的に階層的なベンチマークであり、話者対応推論の基礎的能力を診断し、887の多様なマルチパーティオーディオクリップから2.4Kの人間認証サンプルを合成する。 HEAR 上で 20 つの主要な SLM を評価すると、彼らはこれらの基礎的なタスクに苦労し、しばしば実際の発声手段よりも意味論的優先に頼っていることが分かる。 そこで本稿では,A2Rモデルについて述べる。A2Rは,話者レベルのハードネガス(CASH)に最適化された30Bモデルである。 A2RはHEAR上での強い性能を実現し、多様なマルチ話者ダウンストリームタスクにゼロショットの一般化を示し、学習された話者帰属が話者認識推論におけるモデルの潜在能力の解放を実証する。 すべてのリソースはhttps://attributetoreason.github.io/AttributeToReason/で入手できる。

関連論文リスト

• SpeakerSleuth: Evaluating Large Audio-Language Models as Judges for Multi-turn Speaker Consistency [12.420484491347073]
  LALMがマルチターン対話における話者の一貫性を確実に判断できるかどうかを評価するベンチマークである SpeakerSleuth を提案する。 合成音声と実音声を対象とする4つの多種多様なデータセットを対象とした1,818の人間検証評価インスタンスを構築した。 モデルは音響的不整合を確実に検出するのに苦労している。
  論文  参考訳（メタデータ） (2026-01-07T15:45:41Z)
• Step-Audio-R1 Technical Report [70.37077572409319]
  本稿では,音声領域における推論能力の解放に成功した最初の音声推論モデルであるStep-Audio-R1を紹介する。 私たちのモデルは、Gemini 2.5 Proを抜いて、最先端のGemini 3 Proに匹敵するパフォーマンスを実現した、強力なオーディオ推論能力を示しています。
  論文  参考訳（メタデータ） (2025-11-19T20:12:50Z)
• DELULU: Discriminative Embedding Learning Using Latent Units for Speaker-Aware Self-Supervised Speech Foundational Model [65.93900011975238]
  DELULUは、話者を意識した、検証、ダイアリゼーション、プロファイリングのための基礎モデルである。 マスク付き予測と妄想を組み合わせ、堅牢性と一般化をさらに強化する2つの目的を用いて訓練される。 以上の結果から,DELULUは話者認識音声処理の強力なユニバーサルエンコーダであり,タスク固有の微調整がなくても優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-10-20T15:35:55Z)
• In search of strong embedding extractors for speaker diarisation [49.7017388682077]
  話者ダイアリゼーションにEEを採用する際の2つの重要な問題に対処する。 まず、性能向上に必要な特徴が話者検証とダイアリゼーションに異なるため、評価は簡単ではない。 広く採用されている話者検証評価プロトコルの性能向上は、ダイアリゼーション性能の向上に繋がらないことを示す。 重なり合う音声や話者変化の入力を認識するために,2番目の問題を緩和する2つのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T13:00:29Z)
• GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis [6.632254395574993]
  GANSpeechは、非自己回帰型マルチスピーカTSモデルに対向訓練法を採用する高忠実度マルチスピーカTSモデルである。 主観的な聴取試験では、GANSpeechはベースラインのマルチスピーカーであるFastSpeechとFastSpeech2モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-06-29T08:15:30Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Investigation of End-To-End Speaker-Attributed ASR for Continuous Multi-Talker Recordings [40.99930744000231]
  話者プロファイルが存在しないケースに対処することで、以前の作業を拡張します。 E2E SA-ASRモデルの内部話者表現を用いて話者カウントとクラスタリングを行う。 また,E2E SA-ASRトレーニングの基準ラベルの簡単な修正も提案する。
  論文  参考訳（メタデータ） (2020-08-11T06:41:55Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。