論文の概要: Encoder-Side Neuron Identification and Amplification for Acoustic Perception in Large Audio-Language Models

• arxiv url: http://arxiv.org/abs/2607.11801v1
• Date: Mon, 13 Jul 2026 16:53:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.561506
• Title: Encoder-Side Neuron Identification and Amplification for Acoustic Perception in Large Audio-Language Models
• Title（参考訳）: 大規模オーディオ言語モデルにおけるエンコーダ側ニューロンの同定と音響知覚の増幅
• Abstract要約: 本稿では、オーディオエンコーダにおける各フィードフォワードニューロンをスコアする、トレーニングフリーでラベルフリーなIAANを紹介する。 これは推論時に最も高いスコアのニューロンの小さな集合を増幅する。 平均精度はAudio-Flamingo-3で25.7ポイント、Qwen2.5-Omniで21.4ポイント、Kimi-Audioで9.7ポイント向上している。
• 参考スコア（独自算出の注目度）: 47.620410539694774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large audio-language models (LALMs) often underperform on fine-grained, non-semantic attributes of speech, such as a speaker's emotion, despite strong performance on speech content. Improving this without the cost of retraining calls for an effective inference-time intervention, yet most existing methods intervene only after the audio encoder and operate at a relatively coarse granularity. The encoder itself, where acoustic information is first extracted from the waveform, remains largely unexplored, especially at the level of individual neurons. We introduce IAAN, Identifying and Amplifying Acoustic Neurons, a training-free and label-free method that scores each feed-forward neuron in the audio encoder by contrasting its activation on the real waveform with that on a noise reference lacking the real audio's acoustic information. IAAN then amplifies a small set of the highest-scoring neurons at inference. Across ten non-semantic speech attributes, IAAN improves average accuracy by 25.7 points on Audio-Flamingo-3, 21.4 on Qwen2.5-Omni, and 9.7 on Kimi-Audio. It also improves a model already explicitly fine-tuned to prioritize acoustic evidence. In controlled comparisons, both the encoder locus and neuron-level selectivity prove necessary for this gain. Intervening after the encoder, at the decoding side or inside the language model, yields little to no improvement, or even deteriorates accuracy. The improvement also depends on which specific neurons are amplified, not merely on their number, confirming that IAAN's acoustic score succeeds in identifying the neurons that matter. These results show that a small, precisely targeted intervention inside the audio encoder is an effective and largely untapped way to strengthen the acoustic understanding of LALMs, opening a new direction for inference-time methods that improve acoustic perception through neuron-level access to the encoder.
• Abstract（参考訳）: 大規模な音声言語モデル (LALM) は、音声内容に強いパフォーマンスがあるにもかかわらず、話者の感情のような、きめ細かな非意味的特性でしばしば性能が劣る。 効果的な推論時間介入のための呼び出しを再トレーニングするコストを伴わずに改善するが、既存のほとんどの方法はオーディオエンコーダの後にのみ介入し、比較的粗い粒度で操作する。 音響情報が最初に波形から抽出されるエンコーダ自体は、特に個々のニューロンのレベルでは、ほとんど探索されていない。 実音声の音響情報に欠けるノイズ参照と実波形でのアクティベーションを対比することにより、オーディオエンコーダ内の各フィードフォワードニューロンをスコアリングする、トレーニング不要でラベルなしの手法であるIAAN, Identifying and Amplifying Acoustic Neuronsを紹介する。 IAANは推論時に最も高い色合いのニューロンの小さな集合を増幅する。 10つの非意味的音声属性の中で、IAANはAudio-Flamingo-3で25.7ポイント、Qwen2.5-Omniで21.4、Kimi-Audioで9.7ポイント改善している。 また、音響的証拠を優先するために、すでに微調整済みのモデルも改良されている。 制御された比較では、エンコーダ軌跡とニューロンレベルの選択性の両方がこの利得に必要であることが証明された。 エンコーダの後に、デコード側または言語モデルの内部で介入すると、ほとんど改善されないか、あるいは精度が低下する。 この改良は、特定のニューロンが増幅されるかにもよるが、その数だけによらず、IAANの音響スコアが重要なニューロンを特定するのに成功することを確認している。 これらの結果から, オーディオエンコーダ内の小さな, 正確に標的とした介入は, LALMの音響的理解を強化するために効果的で, ほとんど未発達な方法であり, ニューロンレベルのエンコーダへのアクセスを通じて, 音響的知覚を改善するための推論時間法の新しい方向を開くことが示唆された。

関連論文リスト

• Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
  生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。 標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。 調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。 トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-05T14:26:06Z)
• SonicBench: Dissecting the Physical Perception Bottleneck in Large Audio Language Models [30.62556746827114]
  大規模音声言語モデル (LALM) は意味的・パラ言語的タスクに優れるが、音声の基本的物理的特性を知覚する能力は未解明のままである。 SonicBenchは5次元にまたがって12コアの物理的特性を体系的に評価する心理物理学的なベンチマークである。 LALMにおける基礎的聴覚理解の欠如について検討した。
  論文  参考訳（メタデータ） (2026-01-16T07:10:57Z)
• Semantic Codebooks as Effective Priors for Neural Speech Compression [3.4074476957610074]
  SemDACはセマンティック・アウェアなニューラル・オーディオであり、セマンティック・コードブックを音声圧縮の効果的な先行要素として活用する。 FiLM条件付きデコーダは、セマンティックトークンに条件付きオーディオを再構成し、音響コードブックの使用効率を向上させる。
  論文  参考訳（メタデータ） (2025-12-25T12:49:41Z)
• Decoding Phone Pairs from MEG Signals Across Speech Modalities [0.4054486015338004]
  脳磁図信号を用いて、音声生成や知覚タスク中の脳活動から携帯電話を復号する方法について検討した。 その結果,受動聴取や再生モダリティと比較して,音声生成時の復号精度が有意に高かった。
  論文  参考訳（メタデータ） (2025-05-21T10:31:34Z)
• Multi-class Decoding of Attended Speaker Direction Using Electroencephalogram and Audio Spatial Spectrum [13.036563238499026]
  聴取者の脳波(EEG)信号から出席者話者の指向性焦点を復号することは脳-コンピュータインターフェースの開発に不可欠である。 音声空間スペクトルと脳波の特徴を統合することにより、復号精度を効果的に向上させることができる。 提案したSp-EEG-Deformerモデルでは, 55.35%, 57.19%の14クラスのデコード精度を実現している。
  論文  参考訳（メタデータ） (2024-11-11T12:32:26Z)
• End-to-End Binaural Speech Synthesis [71.1869877389535]
  本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。 実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
  論文  参考訳（メタデータ） (2022-07-08T05:18:36Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
  調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。 本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。 クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
  論文  参考訳（メタデータ） (2022-03-19T08:47:18Z)
• Data Augmentation based Consistency Contrastive Pre-training for Automatic Speech Recognition [18.303072203996347]
  自動音声認識(ASR)タスクにおいて、自己教師付き音響事前学習は驚くべき結果を得た。 音響事前学習法の多くは、コントラスト学習を用いて音響表現を学習する。 本稿では,音声事前学習のためのデータ拡張を利用して,新しいコントラスト学習法(CCL)を設計する。
  論文  参考訳（メタデータ） (2021-12-23T13:23:17Z)
• Deliberation Model Based Two-Pass End-to-End Speech Recognition [52.45841282906516]
  非ストリーミングのリステン・アテン・アンド・スペル(LAS)モデルを用いて、ストリーム仮説を再スコアする2パスモデルが提案されている。 このモデルは、第一パスのテキスト仮説のみを使用する神経矯正モデルのクラスとは対照的に、音響学で仮説を再評価する。 双方向エンコーダを用いて、ファーストパス仮説からコンテキスト情報を抽出する。
  論文  参考訳（メタデータ） (2020-03-17T22:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。