論文の概要: Long-Term Memory-Guided Enhancement for Target Perception in Audio-Language Models

• arxiv url: http://arxiv.org/abs/2609.36577v1
• Date: Tue, 29 Sep 2026 02:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.138118
• Title: Long-Term Memory-Guided Enhancement for Target Perception in Audio-Language Models
• Title（参考訳）: 長期記憶誘導による音声言語モデルにおける目標知覚の強化
• Abstract要約: 選択的目標知覚を改善するために,LTM-AE(Long-Term Memory-Guided Audio Enhancement)を提案する。 LTM-AEは、各カテゴリの長期記憶としてクリーンな参照記録から隠れた状態の表現を抽出する。 3つの干渉源中において, LTM-AEは特定の目標に対する応答を増強することを示す。
• 参考スコア（独自算出の注目度）: 11.626943548505329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio large language models (ALLMs) can reason about the content of audio recordings to perform complex tasks. However, these capabilities usually collapse in real-world environments when background noise and competing sources mix the target sound. Inspired by long-term memory in human listening, we propose Long-Term Memory-Guided Audio Enhancement (LTM-AE) to improve selective target perception by refining the audio representations of ALLMs without training. LTM-AE extracts representations in hidden states from separate clean reference recordings as long-term memory for each category, guiding enhancement toward a user-specified listening target. We reconstruct incoming audio tokens in the selected category long-term memory and interpolate the reconstructions with the original tokens before language backbone decoding. This interpolation controls the influence of stored auditory experience while keeping all ALLM parameters fixed. Diagnostic readouts across twenty sound categories and three ALLMs show that LTM-AE strengthens responses to a specified target amid three interfering sources. Averaged over constrained and free-form classification, accuracy gains over raw mixtures range from 29.53 to 46.15 percentage points across multiple open source models. For speech content recovery, LTM-AE with an additional learned token-level gate reduces Qwen2-Audio's word error rate from 23.07% to 14.77%. This work takes an initial step toward using principles of human long-term memory to enhance ALLMs for real-world listening. Our code is available at https://github.com/aynlp/ltm-audio-code
• Abstract（参考訳）: オーディオ大言語モデル(ALLM)は、複雑なタスクを実行するためにオーディオ録音の内容について推論することができる。 しかしながら、これらの機能は、バックグラウンドノイズと競合する音源がターゲットの音を混合した場合に、通常、現実世界の環境で崩壊する。 人間の聴取における長期記憶にインスパイアされたLTM-AE(Long-Term Memory-Guided Audio Enhancement)を提案する。 LTM-AEは、個別のクリーンレファレンス記録から各カテゴリの長期記憶として隠された状態の表現を抽出し、ユーザが特定したリスニングターゲットへの拡張を導く。 選択したカテゴリの長期記憶に入力された音声トークンを再構成し、言語バックボーン復号の前に元のトークンと補間する。 この補間は、すべてのALLMパラメータを固定しながら、格納された聴覚経験の影響を制御する。 20の音カテゴリと3つのALLMの診断読み出しは、3つの干渉源の中でLTM-AEが特定のターゲットに対する応答を強化することを示している。 制約付きおよび自由形式の分類に比較して、生の混合物の精度は、複数のオープンソースモデルで29.53から46.15ポイントである。 音声コンテンツの回復のために、学習トークンレベルゲートを追加したLTM-AEは、Qwen2-Audioの単語誤り率を23.07%から14.77%に下げる。 この研究は、人間の長期記憶の原理を用いて、現実世界のリスニングのためのALLMを強化するための最初の一歩を踏み出した。 私たちのコードはhttps://github.com/aynlp/ltm-audio-codeで利用可能です。

関連論文リスト

• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• Reducing Object Hallucination in Large Audio-Language Models via Audio-Aware Decoding [54.82619273983179]
  LALM(Large Audio-Language Models)は、オーディオに提示されるものを幻覚させる。 LALMの幻覚を軽減するためにオーディオ・アウェア・デコーディング(AAD)を導入する。 AADはコントラストデコーディングを使用して、トークン予測ログとオーディオコンテキストの有無を比較します。
  論文  参考訳（メタデータ） (2025-06-08T17:36:50Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities [72.91296768332163]
  本稿では,Audio Flamingo 2 (AF2),Audio-Language Model,LongAudioを紹介した。 AF2は、20以上のベンチマークで大規模なオープンソースおよびプロプライエタリモデルを上回る3Bパラメータの小さな言語モデルで、最先端のパフォーマンスを実現している。 音声理解を長い音声セグメント(30秒から5分)に拡張し、長い音声キャプションと質問応答タスクに基づいてALMをトレーニングするための大規模で斬新なデータセットであるLongAudioを提案する。
  論文  参考訳（メタデータ） (2025-03-06T00:10:26Z)
• Language-based Audio Moment Retrieval [14.227865973426843]
  音声モーメント検索(AMR)と呼ばれる新しいタスクを提案し設計する。 従来の言語ベースの音声検索タスクとは異なり、AMRはテキストクエリに基づいて、未編集の長い音声の関連モーメントを予測することを目的としている。 我々は、モーメントアノテーションを付加した大規模なシミュレーションオーディオ録音からなる専用のデータセット、Clatho-Momentを構築した。 次に、AMRタスクの基本的なフレームワークとして、Audio Moment DETR (AM-DETR) と呼ばれるDETRベースのモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-24T02:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。