論文の概要: Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.21537v1
• Date: Thu, 15 Oct 2026 09:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.298229
• Title: Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける効率的な連続学習のための機能的サブネットワークの局所化
• Abstract要約: 大規模言語モデル(LLM)における連続学習は、破滅的な忘れ方に弱いままである。 CiMEO(Function-isolated Memory-Efficient Optimization)は,各トレーニング例をその機能サブネットワークにルーティングする連続学習フレームワークである。 CiMEOは、プログラミング、試験スタイルのタスク、表現、数学的推論にまたがる5つの生成ベンチマークにおいて、最も高い平均性能を達成する。
• 参考スコア（独自算出の注目度）: 31.710827684467503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological intelligence continually adapts to new information while retaining prior skills through localized plasticity. In contrast, continual learning in large language models (LLMs) remains vulnerable to catastrophic forgetting. A promising direction is to identify functionally specialized subnetworks within LLMs that enable targeted and resource-efficient adaptation. Using gradient-attribution profiling, we localize cognition-associated functional subnetworks exhibiting extremely low mutual overlap. Building on this finding, we propose Function-isolated Memory-Efficient Optimization (CiMEO), a continual learning framework that routes each training example to its corresponding functional subnetwork, restricting parameter updates and optimizer states to selected regions. Across 1.4 million sequential instructions, CiMEO achieves the highest average performance among the compared methods on five generative benchmarks spanning programming, examination-style tasks, and mathematical reasoning, while mitigating catastrophic forgetting. Subspace-overlap and principal-angle analyses further indicate that localized updates help preserve pre-trained representations, highlighting functional subnetwork localization as a practical approach to efficient and stable continual learning in LLMs.
• Abstract（参考訳）: 生物学的インテリジェンスは、局所的な可塑性を通して事前のスキルを維持しながら、新しい情報に継続的に適応する。 対照的に、大規模言語モデル(LLM)における連続学習は、破滅的な忘れ方に弱いままである。 有望な方向性は、目標と資源効率の適応を可能にするLLM内の機能的に特殊なサブネットワークを特定することである。 グラデーション・アトリビューション・プロファイリングを用いて,相互に重なり合いが極めて低い認知関連機能サブネットを局所化する。 この知見に基づいて,各トレーニング例を対応する機能サブネットワークにルーティングし,パラメータの更新と最適化状態を選択領域に制限する連続学習フレームワークである関数分離メモリ効率最適化(CiMEO)を提案する。 14万の逐次命令に対して、CiMEOは、プログラミング、試験スタイルのタスク、数学的推論にまたがる5つのジェネレーティブベンチマークにおいて、破滅的な忘れを軽減しつつ、比較した手法の中で、最も高い平均性能を達成している。 部分空間オーバーラップと主角解析は、局所化された更新が事前訓練された表現の保存に役立つことを示し、LLMにおける効率的で安定した連続学習のための実践的なアプローチとして機能的なサブネットワークのローカライゼーションを強調した。

関連論文リスト

• From a Prompt to Repertoires: Evolving Functional REpertoires Enable LLM Continual Learning [26.72994132440226]
  これにより、モデルは既存の能力を損なうことなく、新しいスキルと知識を習得できなければならない。 単一プロンプトを新しいタスクが到着するにつれて進化する関数のレパートリーに置き換える機能レパートリー(EFRE)を提案する。 3タスク連続学習ストリームでは、EFREはGRPOよりも7.50ポイント高い最終的な平均パフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-10-08T07:06:52Z)
• Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning [57.237835833636154]
  本稿では,事前学習された知識の事前情報を活用するために,拡張可能なサブスペース(マイル)を用いたMetrIc Learningを提案する。 Milesは様々なCIL設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-20T06:22:02Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
  O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。 提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
  論文  参考訳（メタデータ） (2023-10-22T02:23:44Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。