論文の概要: Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2607.12112v1
• Date: Mon, 13 Jul 2026 19:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.957987
• Title: Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning
• Title（参考訳）: MLLMファインチューニングのための弾性規則化と合成再生による連続学習
• Abstract要約: Federated Continual Multimodal Learning (FedCMM)は、フェデレート最適化ループに継続的学習セーフガードを組み込むフレームワークである。 FedCMMは、精度と後方転送の最近のベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 15.445619998280243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning of Multimodal Large Language Models (MLLMs) across distributed networks enables privacy-sensitive adaptation to evolving data streams, yet a fundamental obstacle prevents robust deployment in dynamic environments: catastrophic forgetting, wherein sequential task updates erase previously acquired knowledge across visual, linguistic, and cross-modal representations. Addressing this challenge is especially critical for autonomous networked AI operating in safety-sensitive domains, such as content moderation, where reliable retention of prior knowledge underpins system integrity. To overcome this, we propose Federated Continual Multimodal Learning (FedCMM), a framework that embeds continual-learning safeguards into the federated optimization loop at three complementary levels. At the parameter level, modality-aware elastic weight consolidation computes separate Fisher information matrices for the vision encoder, language backbone, and cross-modal projector, providing granular, asymmetry-aware protection against modality-specific forgetting. At the data level, each client trains a lightweight local generative replay module to synthesize raw-data-free embedding-level multimodal replay tuples without any raw data sharing. At the aggregation level, Task-similarity-aware gradient aggregation autonomously filters and reweights client updates by gradient cosine similarity, suppressing conflicting directions and stabilizing the global learning trajectory. Extensive experiments on two benchmarks demonstrate that FedCMM consistently outperforms recent baselines on accuracy and backward transfer, confirming that holistic, modality-aware optimization enables robust evolutive adaptation across heterogeneous networked AI deployments.
• Abstract（参考訳）: 分散ネットワーク上でのMLLM(Multimodal Large Language Model)のフェデレートされた微調整により、プライバシに敏感なデータストリームへの適応が可能になるが、基本的な障害として、動的環境へのロバストなデプロイが防止される。 この課題に対処することは、コンテンツモデレーションのような、安全に敏感なドメインで動作する自律的なネットワークAIにとって特に重要である。 そこで本稿では,FedCMM(Federated Continual Multimodal Learning)を提案する。 パラメータレベルでは、Modality-Aware Elastic Weight Consolidationは、ビジョンエンコーダ、言語バックボーン、およびクロスモーダルプロジェクタ用のFisher情報行列を別々に計算し、モダリティ固有の忘れに対する粒度の非対称性保護を提供する。 データレベルでは、各クライアントは軽量なローカル生成リプレイモジュールをトレーニングし、生データのない埋め込みレベルのマルチモーダルリプレイタプルを生データ共有なしで合成する。 集約レベルでは、タスク類似性を考慮した勾配集約を自律的にフィルタし、勾配コサイン類似性によってクライアント更新を再重み付けし、競合する方向を抑え、グローバルな学習軌道を安定化させる。 2つのベンチマークに関する大規模な実験は、FedCMMが最近の精度と後方転送のベースラインを一貫して上回り、全体論的、モダリティを意識した最適化によって、異種ネットワークAIデプロイメント間の堅牢なエボリューティブ適応を実現することを確認している。

関連論文リスト

• Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
  拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。 この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
  論文  参考訳（メタデータ） (2026-09-04T06:16:49Z)
• LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models [5.257217773590746]
  オンラインタスクフリー連続学習(TFCL)では、インテリジェントエージェントが非定常データストリームからの知識を逐次蓄積する必要がある。 既存のオンラインTFCLパラダイムは、トレーニング結合された最適化ダイナミクスによって駆動されるパラメータ効率の高いプロンプトチューニングや動的構造拡張に依存している。 我々は,タスクフリーな継続的適応を自律的にオーケストレーションするために,大規模な事前学習基盤モデルを活用するフレームワークであるLargeMonitorを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:41:15Z)
• AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments [7.335282879368365]
  大規模言語モデル(LLM)は、自律運転、産業検査、パーソナライズされたIoTサービスなど、さまざまなシナリオに広くデプロイされている。 異種エッジ環境に適したLLMのための非同期フェデレーションファインチューニングフレームワークであるAlignFedを提案する。
  論文  参考訳（メタデータ） (2026-06-06T14:28:36Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• SPARD: Self-Paced Curriculum for RL Alignment via Integrating Reward Dynamics and Data Utility [71.76390626651254]
  本研究では,学習の進捗を把握し,多目的報酬重み付けとデータ重要度を動的に調整し,自己完結型カリキュラムを構築するフレームワークであるSPARDを提案する。 複数のベンチマークにわたる大規模な実験により、SPARDはすべてのドメインにわたるモデル機能を大幅に強化することが示された。
  論文  参考訳（メタデータ） (2026-04-09T05:37:22Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Beyond Static Datasets: Robust Offline Policy Optimization via Vetted Synthetic Transitions [4.359780028396042]
  静的データセットと学習ポリシ間の分散シフトに対処するモデルベースのフレームワークであるMoReBRACを提案する。 本研究では,変分オートエンコーダ(VAE)モデル検出,モデル感度解析,モンテカルロ(MC)ドロップアウトを統合した階層的不確実性パイプラインを実装した。 D4RL Gym-MuJoCoベンチマークの結果,特にランダム'とサブ最適'のデータ構造において,大幅な性能向上が示された。
  論文  参考訳（メタデータ） (2026-01-26T03:38:27Z)
• SMoFi: Step-wise Momentum Fusion for Split Federated Learning on Heterogeneous Data [11.41105795202393]
  Split Federated Learningは、モデルのパーティションをトレーニングするために、中央サーバでリッチなコンピューティングリソースを使用する。 サイロ間のデータの異質性は、グローバルモデルの収束速度と精度を損なう大きな課題である。 本稿では,勾配の発散に対処する効果的で軽量なフレームワークであるSMoFiについて紹介する。
  論文  参考訳（メタデータ） (2025-11-13T00:21:05Z)
• Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
  教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。 UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。 本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T08:53:27Z)
• FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。 本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T04:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。