論文の概要: CaLLM: Continual Adaptation of LLMs via Non-Parametric Adapter Routing

• arxiv url: http://arxiv.org/abs/2610.36994v1
• Date: Tue, 27 Oct 2026 10:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.260175
• Title: CaLLM: Continual Adaptation of LLMs via Non-Parametric Adapter Routing
• Title（参考訳）: CaLLM:非パラメトリックアダプタルーティングによるLCMの継続的な適応
• Abstract要約: CaLLMは、メトリックベースのメタ学習と軽量アダプタによるモジュールパラメータ分離を組み合わせたフレームワークである。 まず、CaLLMは各入力バッチをタスクに依存しない埋め込みスペースに投影し、最も近いプロトタイプを見つける。 そして、バッチをデータ分散に特化した特定のアダプタにルーティングする。
• 参考スコア（独自算出の注目度）: 11.758733417168829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual adaptation of large language models (LLMs) to evolving task distributions while mitigating catastrophic forgetting remains an open problem. Existing strategies often struggle to scale or lack a robust mechanism for zero-shot task-to-expert assignment. We introduce CaLLM, a framework that resolves these tensions by combining metric-based meta-learning with modular parameter isolation via lightweight adapters. First, CaLLM projects each input batch into a task-agnostic embedding space to find its nearest prototype. It then routes the batch to the specific adapter specialized for that data distribution. This formulation provides (i)~controllable cross-task interference by design, (ii)~constant computational complexity regardless of task count, (iii)~seamless integration of novel distributions through prototype expansion, and (iv)~regime agnosticism as the local routing decision enables a unified approach to both online and offline settings. Our experiments demonstrate that this routing mechanism discovers semantically coherent task groupings while facilitating constructive interference between similar tasks, and keeping overhead at a minimum. Across diverse and fine-grained continual learning benchmarks, CaLLM consistently outperforms traditional isolation and replay methods, establishing prototype-based modular routing as a principled and scalable approach to lifelong adaptation of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の課題分散への継続的な適応は、破滅的な忘れを軽減しつつも、未解決の問題である。 既存の戦略は、しばしばスケールに苦しむか、ゼロショットのタスク・トゥ・エキスパートの割り当てのための堅牢なメカニズムを欠く。 本稿では,メートル法に基づくメタラーニングと,軽量アダプタによるモジュールパラメータ分離を組み合わせることで,これらの緊張を解消するフレームワークであるCaLLMを紹介する。 まず、CaLLMは各入力バッチをタスクに依存しない埋め込みスペースに投影し、最も近いプロトタイプを見つける。 そして、バッチをデータ分散に特化した特定のアダプタにルーティングする。 この定式化は (i)...設計による制御可能なクロスタスク干渉 (ii)〜タスク数によらず計算複雑性 (iii)-プロトタイプ展開による新規分布のシームレスな統合 (iv)–regime agnosticism as the local routing decisionは、オンラインとオフラインの両方の設定に対して統一的なアプローチを可能にする。 実験により,このルーティング機構は,類似タスク間のコンストラクティブな干渉を容易にし,オーバーヘッドを最小限に抑えつつ,意味的に一貫性のあるタスクグループ化を発見することを実証した。 CaLLMは、多種多様できめ細かな連続学習ベンチマーク全体にわたって、従来の分離と再生の手法を一貫して上回り、LLMの生涯的適応に対する原則的かつスケーラブルなアプローチとしてプロトタイプベースのモジュラールーティングを確立した。

関連論文リスト

• Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
  大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。 LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。 最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。 Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
  論文  参考訳（メタデータ） (2026-07-26T20:42:56Z)
• OrthoTryOn: Geometric Orthogonalization for Conflict-Free Unified Fashion Generation [43.40052085990979]
  統一ファッション生成は、仮想試着や衣服の再構築のようなタスクを単一のモデルに統合し、タスク固有の適応コストを削減する。 我々は、共有Low-AdaptationRank(LoRA)モジュール内でこの干渉を緩和する統合フレームワークOrthoTryOnを提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:23:25Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Learning from Many and Adapting to the Unknown in Open-set Test Streams [24.690368986775848]
  大規模言語モデル(LLM)は、再利用可能な表現と柔軟な推論を通じてタスクを一般化する。 SyCoはRac1およびMAPK経路を介して低ランクアダプタを更新するパラメータ効率適応法である。
  論文  参考訳（メタデータ） (2026-04-01T06:23:24Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• OTARo: Once Tuning for All Precisions toward Robust On-Device LLMs [21.55040910903597]
  OTARoはデバイス上の大規模言語モデルで量子化精度を柔軟に切り替えることができる新しい手法である。 すべての精度で一貫して強固で堅牢なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-17T08:56:27Z)
• Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning [7.361665112773847]
  破滅的忘れを緩和する2レベル混合実験法(TRGE)を提案する。 TRGEはトレーニング済みのCLIPモデルを動的に拡張し、各タスクに特定の専門家グループを割り当てる。 我々は,タスク記述を生成し,正しいタスク識別子を認識するために,強力なマルチモーダル理解機能を持つマルチモーダル大規模言語モデル(MLLM)を利用する。
  論文  参考訳（メタデータ） (2025-08-11T08:18:22Z)
• R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
  マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
  論文  参考訳（メタデータ） (2024-11-27T10:57:06Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。