論文の概要: FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging

• arxiv url: http://arxiv.org/abs/2610.33496v1
• Date: Sat, 24 Oct 2026 06:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.345721
• Title: FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging
• Title（参考訳）: FedSEAM: サブスペース専門家合意によるLLMの継続的な学習
• Abstract要約: FedSEAMはタスク知識をスパースの専門家に整理し、タスクやクライアント間でコンテンツを選択的に共有する。 各クライアントでは、タスク対応タイル選択が新しいタスクにキャパシティを割り当て、サブスペースベースの互換性テストが既存のエキスパートタイルの再利用を決定する。 サーバ上では、SEAM(Subspace Expert Agreement Merging)がクライアント更新をサブスペースとして比較し、各クライアントを合意された方向性に沿ってのみコンセンサスに移行する。
• 参考スコア（独自算出の注目度）: 7.698863100388947
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated continual learning trains a model on a sequence of tasks across several clients without sharing their data while retaining knowledge of earlier tasks. Sparse mixture-of-experts models support this setting by adapting selected parameters on a frozen backbone. However, clients learn different expert content as tasks evolve, making it difficult to share knowledge across clients without disrupting task-specific and client-specific specialization. Matching tile coordinates alone does not establish whether their learned content is compatible. We present FedSEAM, a federated continual learning framework that organizes task knowledge into sparse experts and selectively shares their content across tasks and clients. On each client, task-aware tile selection allocates capacity to a new task, while a subspace-based compatibility test determines which existing expert tiles to reuse and where to introduce fresh capacity. On the server, Subspace Expert Agreement Merging (SEAM) compares client updates as subspaces and moves each client towards consensus only along agreed-upon directions, leaving the rest of its update unchanged. We identify two remaining sources of forgetting, routing drift and merge erasure, and address them with three protections, one of which exactly preserves tile components in a selected prior-overlap subspace at every merge. We evaluate FedSEAM on TRACE using Qwen3-4B and Llama-3.2-3B, with component-wise ablations and studies of data size to assess its balance between learning new tasks and retaining prior knowledge.
• Abstract（参考訳）: フェデレーションされた連続学習は、以前のタスクの知識を保持しながらデータを共有することなく、複数のクライアントにわたる一連のタスクでモデルを訓練する。 Sparse Mixed-of-expertsモデルは、凍結したバックボーンに選択したパラメータを適用することで、この設定をサポートする。 しかし、タスクが進化するにつれて、クライアントは異なる専門家コンテンツを学ぶため、タスク固有の専門性やクライアント固有の専門性を損なうことなく、クライアント間で知識を共有することが困難になる。 タイル座標のマッチングだけでは、学習内容が互換性があるかどうかを定めていない。 タスク知識をスパースエキスパートに整理し、タスクやクライアント間でコンテンツを選択的に共有するフェデレーション型連続学習フレームワークであるFedSEAMを提案する。 各クライアントでは、タスク対応タイル選択が新しいタスクにキャパシティを割り当て、サブスペースベースの互換性テストがどの既存のエキスパートタイルを再利用し、どこで新しいキャパシティを導入するかを決定する。 サーバ上では、Subspace Expert Agreement Merging (SEAM) はクライアントの更新をサブスペースとして比較し、各クライアントを合意された更新方向に沿ってのみコンセンサスに移行し、残りの更新は変更されない。 各マージにおいて、選択した事前オーバーラップ部分空間内のタイル成分を正確に保存する3つの保護策により、忘れ、ルーティングドリフト、マージ消去の残りの2つのソースを特定し、それらに対処する。 Qwen3-4BとLlama-3.2-3Bを用いてTRACE上でFedSEAMを評価し,新しいタスクの学習と事前知識の保持のバランスを評価する。

関連論文リスト

• Task Relevance-Driven Prompt Expansion for Federated Continual Learning [113.53619971490151]
  フェデレートされた連続学習(FCL)は、ローカルクライアントが新しいタスクから継続的に知識を得ることを可能にすることで、かなりの関心を集めている。 多くのFCL手法は、グローバルサーバが到着時刻と新しいタスクのカテゴリ数について事前の知識を持っていると仮定するが、これは現実世界では現実的ではない。 我々は,新しいタスクの事前知識への依存をなくすために,新しいタスク関連駆動型プロンプト拡張(TRPE)モデルを開発した。
  論文  参考訳（メタデータ） (2026-10-25T17:34:30Z)
• COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning [47.07998280744138]
  CLIPのような視覚言語モデル(VLM)はゼロショット認識能力を維持しているが、そのオープンワールドの使用はタスクに依存しない連続学習を必要とすることが多い。 この設定は、安定性と塑性のトレードオフを超えた3つの結合圧力によってVLMを失敗させる。 本稿では,これら3つの問題を解決するためのCOMETを提案する。
  論文  参考訳（メタデータ） (2026-10-16T04:15:49Z)
• Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning [10.01449025634975]
  既存のメソッドはパラメータを均一に扱い、特定のタスク知識と共有能力の区別に失敗する。 適応的なスパース部分空間分解によって可塑性・安定性の対立を解決するフレームワークであるタスク非依存型連続学習のためのスパースエキスパートの混合(SETA)を導入する。 SETAは、最先端の継続的な学習ベースラインと比較して、競争力や優れた総合的なパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2026-06-05T17:53:52Z)
• Split-on-Share: Mixture of Sparse Experts for Task-Agnostic Continual Learning [10.01449025634975]
  大規模言語モデル(LLM)における連続学習は、可塑性安定性ジレンマによって妨げられる。 モデルをモジュラー部分空間に分解することで可塑性と安定性の衝突を解決するフレームワークであるSETAを紹介する。 SETA は,パラメータ効率のよい連続学習法よりも常に優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-24T22:39:22Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Personalized Federated Domain-Incremental Learning based on Adaptive Knowledge Matching [22.198621676777368]
  適応型知識マッチングに基づくパーソナライズFDILアプローチ(pFedDIL)を提案する。 pFedDILでは、各クライアントが適切な漸進的なタスク学習戦略を利用できる。 pFedDILは、すべてのタスクの平均精度において、最先端のメソッドよりも14.35%高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-07-06T08:57:22Z)
• Federated Continual Learning for Text Classification via Selective Inter-client Transfer [21.419581793986378]
  本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。 フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。 ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。 そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
  論文  参考訳（メタデータ） (2022-10-12T11:24:13Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。