論文の概要: Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2605.16350v1
• Date: Fri, 08 May 2026 04:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.906785
• Title: Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation
• Title（参考訳）: フェデレートネステッドラーニング:テスト時間適応のための自己参照記憶の協調学習
• Authors: Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu,
• Abstract要約: Federated Nested Learning (FedNL)は、Federated Learningを3段階のネスト最適化システムとして再構築する新しいフレームワークである。 FedNLはTitansベースの線形アテンションをFLに組み込み、クライアントが軽量でゼロショットのテストタイムアダプションを実行できるようにする。
• 参考スコア（独自算出の注目度）: 50.940432795341735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We rethink Federated Learning (FL) from a nested learning perspective, framing the core challenge as how to collaboratively learn optimization rules, not just static models, to tackle Non-IID client data. To address this, we propose Federated Nested Learning (FedNL), a novel framework that reformulates FL as a three-level nested optimization system. FedNL embeds Titans-based linear attention into FL, enabling clients to perform lightweight, zero-shot test-time adaptation by treating a delta rule as an online gradient step. Experiments on Non-IID MMLU and long-context benchmarks show that FedNL achieves competitive performance in short-context reasoning, enhances the performance of long-context retrieval and streaming Cross-Entropy, and maintains constant inference memory.
• Abstract（参考訳）: 我々は、ネストした学習の観点からフェデレートラーニング(FL)を再考し、静的モデルだけでなく最適化ルールを協調的に学習し、非IIDクライアントデータに対処する方法として、中核的な課題を浮き彫りにした。 そこで我々は,FLを3段階のネスト最適化システムとして再構成する新しいフレームワークであるFederated Nested Learning (FedNL)を提案する。 FedNLはTitansベースの線形注意をFLに埋め込むことで、クライアントがデルタルールをオンライン勾配ステップとして扱うことで、軽量でゼロショットのテストタイム適応を実行することができる。 非IID MMLU と long-context ベンチマークの実験により、FedNL は短文推論において競合性能を達成し、長文検索とストリーミングのクロスエントロピーの性能を高め、一定の推論メモリを維持することを示した。

関連論文リスト

• On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [7.226144684379189]
  機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。 本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。 我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-11-12T17:36:20Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Knowledge Rumination for Client Utility Evaluation in Heterogeneous Federated Learning [12.50871784200551]
  フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 非IIDデータと古いモデルは、グローバルモデルの実用性を低下させ、トレーニング失敗につながる可能性があるため、AFLに重大な課題をもたらす。 我々はFedHistと呼ばれる新しいAFLフレームワークを提案し、非IIDデータと勾配安定度の両方がもたらす課題を効果的に解決する。
  論文  参考訳（メタデータ） (2023-12-16T11:40:49Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。 本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-25T14:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。