論文の概要: In-Context Adapter Generation for Compositional Generalization in Large Audio Language Models

• arxiv url: http://arxiv.org/abs/2610.34413v1
• Date: Sun, 25 Oct 2026 16:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.610787
• Title: In-Context Adapter Generation for Compositional Generalization in Large Audio Language Models
• Title（参考訳）: 大規模音声モデルにおける構成一般化のための文脈適応生成
• Abstract要約: テキスト-to-LoRA を LALM に拡張し,命令条件付き LoRA アダプタを Transformer ハイパーネットワークで生成する。 細粒度タスク情報を活用するために,インコンテキストアダプタ生成(ICAG)を導入する。 2つのLALMバックボーンにわたって、T2L-ICAGは静的LoRAとグローバル埋め込みベースのT2Lベースラインを一貫して改善している。
• 参考スコア（独自算出の注目度）: 22.829860173883315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large audio language models (LALMs) have achieved strong performance on standard speech and audio understanding tasks, yet their ability to systematically generalize to novel task compositions remains underexplored. Taking a meta-learning view, we extend Text-to-LoRA (T2L) to LALMs, generating instruction-conditioned LoRA adapters with a Transformer hypernetwork rather than learning a single fixed adapter shared across instructions. To exploit fine-grained task information, we introduce in-context adapter generation (ICAG), a token-level hypernetwork architecture; we call the resulting method T2L-ICAG. We evaluate this approach on two representative LALMs using SIFT-50M for supervised fine-tuning and construct a controlled compositional evaluation suite covering five task classes. Across two LALM backbones, T2L-ICAG consistently improves over static LoRA and also the global embedding-based T2L baseline. Coverage and capacity analyses further show that these gains are larger on structurally out-of-domain tasks and cannot be explained by parameter count alone. These results suggest that generating task-specific adapters from instructions is a promising direction for improving compositional generalization of LALMs.
• Abstract（参考訳）: 大規模音声言語モデル(LALM)は、標準音声および音声理解タスクにおいて高い性能を達成しているが、新しいタスク構成に体系的に一般化する能力は、まだ未定である。 メタラーニングの視点から、テキストからローラ(T2L)をLALMに拡張し、命令間で共有される単一の固定アダプタを学習するのではなく、トランスフォーマーハイパーネットワークで命令条件のLoRAアダプタを生成する。 細粒度タスク情報を活用するために,トークンレベルのハイパーネットワークアーキテクチャであるICAG(In-context Adapter Generation)を導入し,この手法をT2L-ICAGと呼ぶ。 SIFT-50Mを用いた2つの代表的なLALMに対して,本手法の評価を行い,5つのタスククラスをカバーする制御された構成評価スイートを構築した。 2つのLALMバックボーンにわたって、T2L-ICAGは静的LoRAとグローバル埋め込みベースのT2Lベースラインを一貫して改善している。 カバレッジとキャパシティ分析は、これらのゲインがドメイン外の構造上のタスクよりも大きく、パラメータ数だけでは説明できないことを示している。 これらの結果は、命令からタスク固有のアダプタを生成することが、LALMの構成一般化を改善する上で有望な方向であることを示唆している。

関連論文リスト

• DICE: Structured Reasoning in LLMs through SLM-Guided Chain-of-Thought Correction [29.22321321753093]
  大規模言語モデル(LLM)は、しばしば詳細な命令の遵守よりも推論を優先する。 これに対応するための教師付きデータセットの微調整 LLM は、高い計算コストと限られたパラメータアクセスのために実用的ではない。 我々は,小型言語モデル(SLM)をガイドする軽量フレームワークであるDICEを提案し,LLMの出力をチェーン・オブ・シンク(CoT)補正により改善する。
  論文  参考訳（メタデータ） (2025-10-10T09:45:35Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
  効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。 本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-11-19T11:03:09Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• When Large Language Models Meet Optical Networks: Paving the Way for Automation [17.4503217818141]
  物理層をインテリジェントに制御し,アプリケーション層との相互作用を効果的に行うことを目的として,LLMを利用した光ネットワークのフレームワークを提案する。 提案手法は,ネットワークアラーム解析とネットワーク性能最適化の2つの典型的なタスクで検証される。 良好な応答精度と2,400個のテスト状況のセマティックな類似性は、光ネットワークにおけるLLMの大きな可能性を示している。
  論文  参考訳（メタデータ） (2024-05-14T10:46:33Z)
• WavLLM: Towards Robust and Adaptive Speech Large Language Model [93.0773293897888]
  本稿では,2つのエンコーダを持つ頑健で適応的な音声大言語モデルであるWavLLMと,プロンプト対応のLoRA重み付けアダプタを紹介する。 ASR, ST, SV, ERなどのタスクを含むユニバーサル音声ベンチマークにおいて提案手法の有効性を検証し, SQA用ガオカオ英語聴取理解セット, CoT 評価セットなどの特殊データセットに適用する。
  論文  参考訳（メタデータ） (2024-03-31T12:01:32Z)
• A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs Using the CGC-LORA Algorithm [7.521690071464451]
  大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。 我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
  論文  参考訳（メタデータ） (2024-01-22T07:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。