論文の概要: Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits
- arxiv url: http://arxiv.org/abs/2610.25599v1
- Date: Mon, 19 Oct 2026 00:05:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:12:48.048795
- Title: Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits
- Title（参考訳）: パラ言語的対立におけるテキスト優位性:オーディオLLM回路による抑圧の追跡
- Abstract要約: 音声LLMがパラ言語的手がかり(感情、話者同一性、皮肉)よりも書き起こし内容に優先するか否かを検証した。
注意ノックアウトは、オープンエンド生成中に中間トークンを介してクレームが伝播するのを阻止することにより、部分的にオーディオグラウンド出力を復元する。
この効果はフリーフォーム生成にのみ現れ、クローズドセットの複数の選択にはない。
- 参考スコア（独自算出の注目度）: 9.10848231962384
- License:
- Abstract: Audio LLMs deployed in settings such as crisis hotlines and customer support are only useful beyond speech-to-text pipelines if they use acoustic cues rather than the transcript alone. We test whether they prioritise transcript content over paralinguistic cues (emotion, speaker identity, sarcasm) and trace the mechanism when they do. Across six audio LLMs under LISTEN-style conflict conditions, the mean text-dominance rate on mismatched text+audio items is 0.78 (0.86 excluding sarcasm). In the most text-dominant screened model, probing shows speaker identity remains linearly decodable at ceiling at the language model's input, so the failure is not perceptual. Back-patching, reported to repair lexical text dominance, has no measurable effect here; but it also fails on its own source task in our replication (n=300), so we treat its null as uninformative rather than as evidence of non-transfer. Attention knockout partially restores audio-grounded output by blocking the claim from propagating through intermediate tokens during open-ended generation, whereas blocking the answer position's direct connection to the conflicting claim has no effect. The claim's influence therefore travels through an intermediate relay rather than a single severable edge. The effect appears only in free-form generation and not in closed-set multiple choice, suggesting that benchmarks relying on that format may be systematically blind to interventions of this kind. Code and data are publicly available at https://github.com/AdvayRoongta/audio-llm-mech-interp.
- Abstract（参考訳）: 危機的ホットラインやカスタマーサポートのような設定に展開されるオーディオLLMは、音声からテキストへのパイプラインを超えて有用である。
パラ言語的手がかり(感情,話者同一性,皮肉)よりも書き起こし内容が優先されるかどうかを検証し,そのメカニズムを追究する。
LISTEN方式のコンフリクト条件下での6つのオーディオLLMのうち、ミスマッチしたテキスト+オーディオ項目の平均テキスト優位率は、サルカズムを除く0.78(0.86)である。
最もテキストに支配的なスクリーニングモデルでは、話者のアイデンティティは言語モデルの入力の天井で線形にデオード可能であるため、失敗は知覚的ではない。
語彙的テキスト支配の修復を報告したバックパッチは、ここでは測定不可能な効果はないが、レプリケーション(n=300)における独自のソースタスクにも失敗するため、nullを非参照の証拠としてではなく、非インフォームティブとして扱う。
注意ノックアウトは、クレームがオープンエンド生成中に中間トークンを介して伝播するのをブロックし、一方、応答位置と競合するクレームとの直接接続をブロックすることによって、部分的にオーディオグラウンド出力を復元する。
したがって、クレームの影響は、単一の重み付け可能なエッジではなく、中間リレーを通過する。
この効果はフリーフォーム生成にのみ現れ、クローズドセットの複数の選択にはない。
コードとデータはhttps://github.com/AdvayRoongta/audio-llm-mech-interp.comで公開されている。
関連論文リスト
- FuseAlign: Forced Alignment in the Wild [4.994836794885107]
単語レベルの強制アライメントは、音声記録において各転写語が発生するときに推定される。
テキストベースのメディア編集、サブタイリング、音声データキュレーション、音声分析を基盤とする。
FuseAlignは、大規模な擬似ラベル付き音声にトレーニングされたトランスフォーマーベースのコーディネータで、オンラインラベルの修正を行う。
論文 参考訳（メタデータ） (2026-09-27T15:13:14Z) - When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue [18.262137202372454]
我々は障害モードをクロスモーダルな不一致として定式化する。
テキストバイアスによる表面解釈を識別し、不一致領域を競合QAの例に変換するスケーラブルなフレームワークを開発する。
さらに、音声を音声に変換するエージェントスタイルの推論フレームワークを開発し、局所的な音響的手がかりのテキスト可読表現であるAudio Twinを提案する。
論文 参考訳（メタデータ） (2026-08-27T14:26:46Z) - Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。
Audexは単一のTransformerデコーダで単純な統一設計を採用する。
Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
論文 参考訳（メタデータ） (2026-07-06T15:11:57Z) - Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。
標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。
調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。
トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-05T14:26:06Z) - Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models [34.99721206808916]
音声モデルはしばしば、音声証拠が明確であっても、音声と矛盾するテキストに従う。
Gated Audio Counterfactual Logit Correction (GACL)を提案する。
厳格な5ppの忠実度ドロップの予算の下で、GACLは最高のコントラストベースラインよりも17.8ポイントのnAUCを改善している。
論文 参考訳（メタデータ） (2026-06-03T17:57:51Z) - Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。
SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。
実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
論文 参考訳（メタデータ） (2026-05-11T02:50:27Z) - When Audio-LLMs Don't Listen: A Cross-Linguistic Study of Modality Arbitration [1.5567685129899713]
音声とテキストが衝突する場合、音声対応言語モデルは2つのテキストソース間の調停の10倍の頻度でテキストに従う。
応答前に書き起こしを強制すると、テキストの優位性(19%から33%)が増加し、アクセシビリティを向上させることなく、音声の利点を犠牲にする。
最先端の4つのオーディオ-LLMと8言語にわたる実験は、言語間およびクロスモデルの変化と一貫した傾向を示している。
論文 参考訳（メタデータ） (2026-02-12T02:15:30Z) - Adaptive Evidence Weighting for Audio-Spatiotemporal Fusion [0.0]
生物音響分類では、音波信号と、位置と季節としての文脈の両方から種識別が推測される。
本稿では,事前学習したテキスト音声分類器と時間的予測器を統合した適応型対数線形エビデンス融合フレームワークFINCHを紹介する。
FINCHは固定重融合とオーディオのみのベースラインを一貫して上回り、堅牢性とエラーのトレードオフを改善している。
論文 参考訳（メタデータ） (2026-02-03T18:21:13Z) - VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。
この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文 参考訳（メタデータ） (2024-06-12T04:09:44Z) - Using multiple reference audios and style embedding constraints for
speech synthesis [68.62945852651383]
提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。
モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
論文 参考訳（メタデータ） (2021-10-09T04:24:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。