論文の概要: AudioScorer: Learning Question-Aware Token Relevance for Large Audio Language Models
- arxiv url: http://arxiv.org/abs/2610.26258v1
- Date: Mon, 19 Oct 2026 12:14:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:16:38.49931
- Title: AudioScorer: Learning Question-Aware Token Relevance for Large Audio Language Models
- Title（参考訳）: AudioScorer: 大規模音声言語モデルにおける問合せ対応度を学習する
- Abstract要約: 本稿では,ユーザの質問に応じて音声トークンをスコアする軽量モデルであるAudioScorerを提案する。
冷凍されたLALMの解答段階の正当性の下で、オーディオトークンのランク付けを蒸留することによって訓練される。
AudioScorerは、10のセマンティックタスクとアコースティックタスクのうち7つで10%のトークン保持でベストまたはタイトベストの結果を達成する。
- 参考スコア（独自算出の注目度）: 3.1744658275045103
- License:
- Abstract: Large Audio Language Models (LALMs) reason over speech, environmental sounds, music, and other acoustic information. However, their audio encoders produce dense token sequences that make long-form audio costly to process. Existing audio pruning methods reduce this cost using heuristics such as attention, representation similarity, or temporal sampling, but do not explicitly learn which tokens are most useful for a given question. We propose AudioScorer, a lightweight model that scores audio tokens according to the user question. It is trained by distilling the ranking of audio tokens under the frozen LALM's answer-gradient saliency, together with downstream answer supervision. Compared with other pruning methods, AudioScorer achieves the best or tied-best result at 10% token retention on 7 of 10 semantic and acoustic tasks, including speech recognition, emotion recognition, and audio-scene classification.
- Abstract（参考訳）: 大規模音声言語モデル (LALM) は、音声、環境音、音楽、その他の音響情報に対する推論である。
しかし、彼らのオーディオエンコーダは、長い形式のオーディオ処理にコストがかかるような高密度なトークンシーケンスを生成する。
既存の音声プルーニング手法は、注意、表現類似性、時間的サンプリングといったヒューリスティックな手法を用いて、このコストを削減するが、どのトークンが与えられた質問に最も役立つかを明示的に学ばない。
本稿では,ユーザの質問に応じて音声トークンをスコアする軽量モデルであるAudioScorerを提案する。
凍結したLALMの解答順調な正解率の下でオーディオトークンのランク付けを蒸留し、下流の解答監督とともに訓練する。
他のプルーニング法と比較して、AudioScorerは、音声認識、感情認識、音声シーン分類を含む10のセマンティックおよび音響タスクのうち7つに対して、10%のトークン保持率で最高の、または結びついたベストな結果を達成する。
関連論文リスト
- AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs [10.994062021996427]
オーディオエンコーダは、短いオーディオクリップでも数百のトークンを生成する。
現在のトレーニング不要なトークン圧縮メソッドは、粗い注意や特徴の類似性のみに基づいて、トークンをプルーンまたはマージする。
本稿では,AudioTETRISを提案する。AudioTETRISは,Audio Encoderの表現幾何をトークンの重要度に対する音響的先行として利用する,トレーニング不要の2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-10-09T13:49:22Z) - Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。
標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。
調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。
トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-05T14:26:06Z) - AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。
AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。
実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-14T00:56:51Z) - Discrete Audio Tokens: More Than a Survey! [137.3721175670642]
本稿では,離散型音声トークンの体系的レビューとベンチマークを行う。
音声、音楽、一般的なオーディオドメインをカバーしている。
本稿では,エンコーダデコーダ,量子化技術,トレーニングパラダイム,ストリーム性,アプリケーションドメインに基づくトークン化アプローチの分類法を提案する。
論文 参考訳（メタデータ） (2025-06-12T01:35:43Z) - Kimi-Audio Technical Report [67.69331679172303]
Kimi-Audioは、オーディオ理解、生成、会話に優れたオープンソースのオーディオ基礎モデルである。
モデルアーキテクチャ、データキュレーション、トレーニングレシピ、推論デプロイメント、評価を含む、Kim-Audioの構築プラクティスについて詳述する。
論文 参考訳（メタデータ） (2025-04-25T15:31:46Z) - Whisper-GPT: A Hybrid Representation Audio Large Language Model [1.2328446298523066]
音声と音楽のための生成的大規模言語モデル(LLM)により,単一アーキテクチャの一部として連続的な音声表現と離散トークンを同時に扱うことができる。
我々は,次のトークン予測において,我々のアーキテクチャが難易度と負のログライクなスコアを,音声と音楽のトークンベースのLLMと比較していかに改善するかを示す。
論文 参考訳（メタデータ） (2024-12-16T05:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。