論文の概要: Inherited Heads: Audio language models track speakers with their text backbone's attention, and an attention-mass ranking retrieves a different set
- arxiv url: http://arxiv.org/abs/2609.14174v1
- Date: Sat, 12 Sep 2026 22:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.730261
- Title: Inherited Heads: Audio language models track speakers with their text backbone's attention, and an attention-mass ranking retrieves a different set
- Title（参考訳）: Inherited Heads: 音声言語モデルは、テキストバックボーンの注意で話者を追跡し、注目質量ランキングは異なるセットを取得する
- Abstract要約: モデルの10分の1の下で、100個の頭部の注意ログに対する一定の偏りが、どの話者を選ぶにせよ、どのように説明をリダイレクトするかを示す。
2つめの発見は、このような頭部の発見だ。各セグメントにどれだけの注意が向けられているかによって、上位数百人が、私たちの3つのモデルで69、37、および4つのヘッドを共有している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Asked to describe what one of six speakers in a recording talks about, audio language models describe the right one on 6 to 16% of trials, below the 16.7% a guess would give. Adding a fixed bias to the attention logits of a hundred heads, under a tenth of the model's and with no training, redirects the description to whichever speaker we choose, on 90.7% to 99.0% of trials. Those heads are largely not specific to audio. Rank the text-only language model an audio model was built from, or a released model of the same family, on a written version of the task, take its top hundred heads, and carry them over unchanged: they redirect the audio model on 80.8% to 95.0% of trials, with nothing about audio entering the selection. The audio and text head sets share 66 to 74 of 100 where chance would give about 20, and the shared part alone reproduces almost all of the steering. What that does not show is that sharing is what makes the heads work: an equal-sized draw from the same discovered hundred does nearly as well, and none of our three models separates the two explanations. A second finding concerns how such heads are found. Ranking heads by how much attention they place on the segment asked about, as an established score does, or by how much of their attention moves with the question, as a per-head normalised variant does, gives top hundreds that share 69, 37 and 4 heads across our three models. In Ultravox, where they share 4, the established score's heads leave output the judge cannot place on any segment on 69.7% of trials, against 40.0% with no intervention and 1.0% for the normalised variant. That is one arm of six; on the other five the established score steers above a random draw.
- Abstract（参考訳）: 録音中の6人の話者のうちの1人が何を話しているかを説明するために、オーディオ言語モデルは6から16%の試験において正しいものを記述する。
モデルの10分の1以下でトレーニングなしで、100個のヘッドの注意ログに一定のバイアスを加えると、90.7%から99.0%のトライアルで、どの話者を選ぶかという記述をリダイレクトする。
ヘッドはオーディオに特化していない。
音声モデルが構築されたテキストのみの言語モデル、あるいは同じファミリーのリリースされたモデルが、タスクの書かれたバージョン上に構築され、トップ百の頭を取り、それらを変更せずに持ち歩く:彼らは80.8%から95.0%の試験でオーディオモデルをリダイレクトし、オーディオが選択に入ることは一切ない。
オーディオとテキストのヘッドセットは、20の確率で100の66〜74を共有し、共有部だけでほぼすべてのステアリングを再生する。
同じ大きさの百の絵は、ほぼ同じで、私たちの3つのモデルでは、どちらも2つの説明を分離していません。
2つ目の発見は、このような頭部の発見に関するものである。
特定のセグメントにどれだけの注意を向けているか、定評のあるスコアがどれくらいの注意を向けているか、あるいは質問によってどれだけの注意が動くかによって、首ごとの正規化された変種がそうであるように、上位数百人は、私たちの3つのモデルで69、37、および4つのヘッドを共有している。
4つを共有しているウルトラヴォックスでは、確立されたスコアの残高は69.7%の試験ではいかなるセグメントにも設定できないが、40.0%は介入無しで、1.0%は正規化された変種である。
これは6つの腕の1つであり、他の5つの腕では、確立されたスコアがランダムな引き分けよりも上位にある。
関連論文リスト
- Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification [0.37331950863394864]
11種類の音声分類法をベンチマークする。
我々は,2,242本以上のクリップをクローズドセットした音源識別タスクで評価した。
最も優れたモデルであるGemini-3.1-Pro-Previewは85.6%のカテゴリーレベルのF1と56.7%の微粒なF1に達する。
論文 参考訳（メタデータ） (2026-08-03T15:39:57Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳（メタデータ） (2026-07-31T10:44:10Z) - TORUS: A Test of Rendering-Understanding Self-Coherence for Unified Audio Models [41.99844472131922]
音声理解、音声生成、そしてますます、オーディオ編集が可能な統一オーディオモデルが増えている。
現在のプラクティスでは、特別なベンチマークで各機能を独立して評価しています。
本稿では、オーディオネイティブ統一モデルのための最初の自己整合性テストであるTORUSを紹介する。
論文 参考訳（メタデータ） (2026-07-30T23:28:11Z) - Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models [68.48918176385105]
本稿では,質問トークンからテキストや視覚的証拠への注目を収集するマルチモーダル検索ヘッド検出手法を提案する。
マルチモーダル検索ヘッドはスパースであり,本質的であり,因果的に重要であることを示す。
これらの頭部は、視覚的にリッチな文書のランク付けに利用することもできる。
論文 参考訳（メタデータ） (2026-05-26T16:24:29Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation [45.45465533352999]
大規模オーディオ言語モデルは、音声と音声のベンチマークで一貫したパフォーマンス向上を示すが、高いスコアは真の聴覚知覚を反映していないかもしれない。
本稿では,テキストと一般知識のみから応答可能性を測定するテキスト先行法と,音響信号への実際の依存度を評価するオーディオ依存法という,2つの軸を用いた診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-27T12:25:18Z) - Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation [0.0]
Pashtoは、約6000～8000万人が話すが、共有公開テストセット上での多言語自動音声認識(ASR)のベンチマークは公開されていない。
本稿では,公開Pashtoデータに対する最初の再現可能なマルチモデル評価を行い,ゼロショットASR,スクリプトレベルの故障,微調整モデルのクロスドメイン評価について報告する。
論文 参考訳（メタデータ） (2026-04-06T11:23:42Z) - Adaptive vector steering: A training-free, layer-wise intervention for hallucination mitigation in large audio and multimodal models [45.88028371034407]
本稿では,適応ベクトルステアリングによる音声コンテンツのより良い生成を提案する。
実験では、2つのモデルと2つのベンチマークで一貫したパフォーマンス向上を示している。
我々の知る限りでは、オーディオにおける幻覚を軽減するためにベクトルステアリングを適用した最初の研究である。
論文 参考訳（メタデータ） (2025-10-14T08:52:18Z) - MDAR: A Multi-scene Dynamic Audio Reasoning Benchmark [64.89810922949984]
本稿では,複雑なマルチシーン,動的に進化する音声推論タスクのモデルを評価するためのベンチマークMDARを紹介する。
MDARは、様々なオーディオクリップにリンクされた3000の慎重にキュレートされた質問応答ペアから構成される。
MDAR上で26の最先端オーディオ言語モデルをベンチマークし、それらが複雑な推論タスクに制限があることを観察する。
論文 参考訳（メタデータ） (2025-09-26T15:12:46Z) - Benchmarks and leaderboards for sound demixing tasks [44.99833362998488]
音源分離タスクのための2つの新しいベンチマークを導入する。
これらのベンチマークでは、音のデミックスやアンサンブルなどの人気モデルを比較します。
また,特定の茎に最適な異なるモデルのアンサンブルに基づく,音声分離のための新しいアプローチも開発している。
論文 参考訳（メタデータ） (2023-05-12T14:00:26Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。