論文の概要: Symbiotic Architecture for Post-Hoc Audio Extension of Frozen Language Models

• arxiv url: http://arxiv.org/abs/2609.30784v1
• Date: Fri, 25 Sep 2026 04:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.226299
• Title: Symbiotic Architecture for Post-Hoc Audio Extension of Frozen Language Models
• Title（参考訳）: 凍結言語モデルにおける時間後音声拡張のための共生アーキテクチャ
• Abstract要約: 本稿では,重みを微調整することなく,音声理解機能を備えた大規模言語モデル(LLM)を装備するアーキテクチャを提案する。 提案した共生アーキテクチャでは、ターゲットLLMの短期記憶に直接オーディオ条件ベクトルを直接書き込むインジェクタモジュールが使用されている。
• 参考スコア（独自算出の注目度）: 16.05964417190889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes an architecture for equipping large language models (LLMs) with audio-understanding capabilities without fine-tuning their weights. The proposed symbiotic architecture employs an injector module that writes audio-conditioned vectors directly into the target LLM's short-term memory, i.e., the key-value (KV) cache, enabling the LLM to behave as an audio language model (ALM). The architectural advantages are twofold. First, it improves the scalability of ALMs: because the proposed method bypasses the LLM during audio injection, the injection cost is governed by the injector width rather than the backbone width, and can therefore scale more slowly than the cost of full-backbone prefilling. Second, since the training scheme does not update the LLM weights, the original capabilities of the LLM are preserved without the risk of degradation from fine-tuning. The effectiveness of the proposed method is evaluated on both audio-understanding tasks (automatic speech recognition, audio question answering, and acoustic scene classification) and text-only tasks. We confirm that, while activating fewer parameters during audio prefilling, our architecture outperforms the conventional method with a frozen LLM and approaches the performance of a fine-tuned ALM, all while preserving the backbone LLM's original text-only task performance by construction.
• Abstract（参考訳）: 本稿では,重みを微調整することなく,音声理解機能を備えた大規模言語モデル(LLM)を装備するアーキテクチャを提案する。 提案した共生アーキテクチャでは、ターゲットLLMの短期記憶(キー値(KV)キャッシュ)に直接オーディオ条件ベクトルを直接書き込むインジェクタモジュールを用いており、LLMはオーディオ言語モデル(ALM)として振る舞うことができる。 アーキテクチャ上の利点は2つあります。 提案手法はオーディオ注入時にLPMをバイパスするので, 注入コストはバックボーン幅よりもインジェクタ幅で制御されるため, フルバックボーンプリフィルのコストよりも遅くスケールすることができる。 第2に、トレーニングスキームはLLM重量を更新しないため、微調整による劣化のリスクを伴わずに、LLMの本来の能力は維持される。 提案手法の有効性は,音声理解タスク(音声認識,音声質問応答,音響シーン分類)とテキストのみのタスクの両方で評価される。 我々は,オーディオプリフィル中にパラメータを減らしながら,従来の手法よりも凍結LDMの方が優れており,背骨LLMの本来のテキストのみのタスク性能を構築によって保ちながら,微調整ALMの性能にアプローチしていることを確認した。

関連論文リスト

• JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions [66.71387365429062]
  JASTINは命令駆動型オーディオ評価フレームワークである。 自己指示型推論タスクとして音声アセスメントを定式化する。 音声、音、音楽、ドメイン外評価タスクでMLLMを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-06T05:18:42Z)
• ALARM: Audio-Language Alignment for Reasoning Models [1.425194911075608]
  本稿では,自己表現による応答をRLMと互換性のあるオーディオ理解型に変換することを提案する。 訓練のために,6M-instance Multi-task コーパスを構築した。 MMAU-speech と MMSU のベンチマークでは,オープンソースとして最高の結果が得られ,全モデルの中で第3位となった。
  論文  参考訳（メタデータ） (2026-03-10T12:03:25Z)
• PAL: Probing Audio Encoders via LLMs - Audio Information Transfer into LLMs [29.049167884343998]
  大規模言語モデル(LLM)への音声認識の統合は、機械聴取アプリケーションを実現するための新たな研究分野である。 軽量オーディオLLM統合(LAL)の効率的な代替案を提案する。 LALは、LLMの異なるブロックに統合するために、リッチな音声セマンティクスを適切な抽象化レベルでエンコードする。
  論文  参考訳（メタデータ） (2025-06-12T07:23:07Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• LegoSLM: Connecting LLM with Speech Encoder using CTC Posteriors [22.845623101142483]
  音声エンコーダと大言語モデル(LLM)を橋渡しする新しいパラダイムであるLegoSLMを提案する。 好成績なUSMモデルとGemmaモデルを用いて,提案手法がASRおよび音声翻訳タスクにおいて良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-05-16T15:15:19Z)
• Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs [33.12165044958361]
  大規模言語モデル(LLM)の最近の進歩は、音声認識において、AVSR(Audio-Visual Speech Recognition)を含む強力な性能を示している。 そこで我々は,AVSRのための最初のMateryoshkaベースのマルチモーダルLLMであるLlama-MTSKを提案する。 Matryoshka Representation Learningにインスパイアされた私たちのモデルは、単一のアーキテクチャで複数の粒度の表現をエンコードします。 効率的な微調整を行うため,グローバルおよびスケール固有のモジュールを用いたLoRAベースの戦略を3つ導入する。
  論文  参考訳（メタデータ） (2025-03-09T00:02:10Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。