論文の概要: Context Parametrization with Compositional Adapters

• arxiv url: http://arxiv.org/abs/2509.22158v1
• Date: Fri, 26 Sep 2025 10:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.363439
• Title: Context Parametrization with Compositional Adapters
• Title（参考訳）: コンポジション適応器を用いたコンテキストパラメトリゼーション
• Authors: Josip Jukić, Martin Tutek, Jan Šnajder,
• Abstract要約: CompAsは、コンテキストをコンポジション構造を持つアダプタパラメータに変換するメタ学習フレームワークである。 我々の研究は、大規模言語モデルのスケーリングのための実用的で効率的な代替手段として、構成可能なアダプタ生成を確立している。
• 参考スコア（独自算出の注目度）: 3.4155322317700576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often seamlessly adapt to new tasks through in-context learning (ICL) or supervised fine-tuning (SFT). However, both of these approaches face key limitations: ICL is inefficient when handling many demonstrations, and SFT incurs training overhead while sacrificing flexibility. Mapping instructions or demonstrations from context directly into adapter parameters offers an appealing alternative. While prior work explored generating adapters based on a single input context, it has overlooked the need to integrate multiple chunks of information. To address this gap, we introduce CompAs, a meta-learning framework that translates context into adapter parameters with a compositional structure. Adapters generated this way can be merged algebraically, enabling instructions, demonstrations, or retrieved passages to be seamlessly combined without reprocessing long prompts. Critically, this approach yields three benefits: lower inference cost, robustness to long-context instability, and establishes a principled solution when input exceeds the model's context window. Furthermore, CompAs encodes information into adapter parameters in a reversible manner, enabling recovery of input context through a decoder, facilitating safety and security. Empirical results on diverse multiple-choice and extractive question answering tasks show that CompAs outperforms ICL and prior generator-based methods, especially when scaling to more inputs. Our work establishes composable adapter generation as a practical and efficient alternative for scaling LLM deployment.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、しばしばコンテキスト内学習 (ICL) や教師付き微調整 (SFT) を通じて新しいタスクにシームレスに適応する。 しかし、どちらのアプローチも重要な制限に直面している: ICLは多くのデモを扱う際に非効率であり、SFTは柔軟性を犠牲にしてトレーニングのオーバーヘッドを発生させる。 コンテキストから直接アダプタパラメータに命令やデモをマッピングすることで、魅力的な代替手段を提供する。 以前の作業では、単一の入力コンテキストに基づいてアダプタを生成することを検討したが、複数の情報のチャンクを統合する必要性を見落としていた。 このギャップに対処するため,コンストラクト構造を用いてコンテキストをアダプタパラメータに変換するメタラーニングフレームワークCompAsを導入する。 この方法で生成されたアダプタは代数的にマージすることができ、長いプロンプトを再処理することなく命令、デモ、検索されたパスをシームレスに結合することができる。 このアプローチは、推論コストの低減、長期コンテキストの不安定性に対する堅牢性、入力がモデルのコンテキストウインドウを超えた場合に原則化されたソリューションを確立する、という3つの利点をもたらす。 さらに、CompAsは、情報をアダプタパラメータに可逆的にエンコードし、デコーダを通じて入力コンテキストの回復を可能にし、安全性とセキュリティを容易にする。 多様な多重選択および抽出的質問応答タスクの実証結果から、CompAsはICLおよびそれ以前のジェネレータベースの手法よりも優れており、特により多くの入力にスケールする場合に優れていた。 我々の研究は、LCMデプロイメントのスケーリングのための実用的で効率的な代替手段として、構成可能なアダプタ生成を確立している。

関連論文リスト

• PE-CLIP: A Parameter-Efficient Fine-Tuning of Vision Language Models for Dynamic Facial Expression Recognition [7.966499123076283]
  CLIPのような視覚言語モデル(VLM)は、動的表情認識(DFER)のための有望なソリューションを提供する パラメータ効率の良い微調整フレームワークであるPE-CLIPを提案する。 効率と精度のバランスをとることで、PE-CLIPはリソース効率のDFERの新しいベンチマークを設定できる。
  論文  参考訳（メタデータ） (2025-03-21T08:45:50Z)
• StreamAdapter: Efficient Test Time Adaptation from Contextual Streams [99.08657973288913]
  In-context Learning (ICL)は、大きな言語モデルで、勾配更新を必要とせずに、与えられたデモから直接新しいタスクに適応することができる。 テスト時にコンテキストからモデルパラメータを直接更新する新しいアプローチであるStreamAdapterを提案する。
  論文  参考訳（メタデータ） (2024-11-14T09:03:54Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで高い能力を示している。 アダプタは特定のニーズに合わせてLSMをカスタマイズするより効率的な方法を提供する。 モデル(およびアダプタ)のマージは、複数のタスクが可能な1つのモデルを開発する技術として登場した。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Modality Plug-and-Play: Elastic Modality Adaptation in Multimodal LLMs for Embodied AI [10.82017289243097]
  LLM(Large Language Models)は、事前訓練されたエンコーダを通じて様々な入力データモダリティを推論することができる。 m-LLMは、既存の最良のスキームと比較してタスクの精度を最大4%改善する。
  論文  参考訳（メタデータ） (2023-12-13T04:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。