Fugu-MT 論文翻訳(概要): Accurate and Resource-Efficient Federated Continual Learning

論文の概要: Accurate and Resource-Efficient Federated Continual Learning

arxiv url: http://arxiv.org/abs/2606.11480v1
Date: Tue, 09 Jun 2026 22:14:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-11 16:42:38.198418
Title: Accurate and Resource-Efficient Federated Continual Learning
Title（参考訳）: 反復学習の精度と資源効率
Authors: Jebacyril Arockiaraj, Dhruv Parikh, Jayashree Adivarahan, Rajgopal Kannan, Viktor Prasanna,
Abstract要約: フェデレートされた連続学習(FCL)は、限られたリソースの下で分散タスクストリームから学ぶ必要がある。我々は、勾配に基づく更新をコンパクトなランダムな特徴統計に置き換えるリソース対応分析FCLフレームワークであるFedRANを提案する。 FedRANは最強のベースラインに対して平均精度を最大4.8ポイント改善し、最適化ベースのFCLよりも30.6-121.8$times$のクライアント間通信を使用でき、勾配ベースのベースラインよりも平均190.3$times$高速である。
参考スコア（独自算出の注目度）: 3.983545455427237
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated continual learning (FCL) must learn from distributed task streams under limited resources, such as communication, computation, memory, and label availability. Existing FCL methods often rely on repeated local optimization, replay, and full supervision. Analytic alternatives avoid iterative training and replay, but using high-dimensional random features to improve accuracy requires a second-order feature statistic, the Gram matrix, which has a quadratic communication cost in the random feature size $M$. We propose FedRAN, a resource-aware analytic FCL framework that replaces gradient-based updates with compact random feature statistics. Each client transmits a truncated-SVD summary of its Gram matrix, reducing the dominant second-order upload from quadratic to linear in $M$ for fixed rank. The server performs a two-level QR-SVD subspace merge, spatially across clients and temporally across tasks, and solves a ridge classifier in closed form. FedRAN further supports label scarcity through prototype-based pseudo-labeling. Across CIFAR-100, ImageNet-R, and VTAB datasets, FedRAN improves average accuracy by up to 4.8 percentage points over the strongest baseline, uses 30.6-121.8$\times$ less per-client communication than optimization-based FCL, and is 190.3$\times$ faster on average than gradient-based baselines; with only 20% labels, pseudo-labeling improves average accuracy by up to 6.61 points. These results show that FedRAN enables accurate and resource-efficient FCL under communication, computation, and label constraints. The source code is available at https://github.com/JebacyrilArockiaraj/Fed-RAN-SSL.
Abstract（参考訳）: フェデレートされた連続学習(FCL)は、コミュニケーション、計算、メモリ、ラベルの可用性といった限られたリソースの下で分散タスクストリームから学習する必要がある。既存のFCLメソッドは、しばしば繰り返しローカル最適化、リプレイ、完全な監督に依存している。分析的な代替手段は反復的なトレーニングやリプレイを避けるが、精度を向上させるために高次元のランダムな特徴を使用するには、ランダムな特徴サイズが$M$の二次的な通信コストを持つ2次特徴統計量であるGram行列が必要である。我々は、勾配に基づく更新をコンパクトなランダムな特徴統計に置き換えるリソース対応分析FCLフレームワークであるFedRANを提案する。各クライアントは、そのGram行列のtruncated-SVDサマリを送信し、上位の2階アップロードを2次アップロードから1ランクあたり$M$のリニアアップロードに削減する。サーバは、2レベルQR-SVDサブスペースマージを実行し、クライアント間で空間的に、タスク間で時間的にマージし、クローズドな形でリッジ分類器を解決する。 FedRANはさらに、プロトタイプベースの擬似ラベルによるラベルの不足もサポートしている。 CIFAR-100、ImageNet-R、VTABのデータセット全体で、FedRANは最強のベースライン上で平均精度を最大4.8ポイント改善し、最適化ベースのFCLよりも30.6-121.8$\times$で、勾配ベースのベースラインよりも平均190.3$\times$で高速である。これらの結果は,FedRANが通信,計算,ラベル制約の下で,正確かつ資源効率のよいFCLを実現することを示唆している。ソースコードはhttps://github.com/JebacyrilArockiaraj/Fed-RAN-SSLで公開されている。

関連論文リスト

LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文参考訳（メタデータ） (2026-06-03T06:07:33Z)
Learning from the Best: Smoothness-Driven Metrics for Data Quality in Imitation Learning [2.452887009229123]
RINSEは、ポリシーアーキテクチャに依存しない軌道の滑らかさに基づいて、デモを評価するためのフレームワークである。本研究では,スムーズなフィルタリングにより,保持データ分布の条件変動を低減できることを示す。 Re-Mixドメインの再重み付けにおけるソフトウェイトとして、RINSEスコアは、学習されたRe-Mixアロケーションと高い相関を持つドメインアロケーションを生成する。
論文参考訳（メタデータ） (2026-04-24T20:40:11Z)
From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency [28.885724420612323]
我々は,Adamファミリー更新(TSR-Adam)における双方向低ランク通信を実現するTSRを提案する。サブスペースリフレッシュからのピーク通信をさらに削減するため、TSR-AdamはSVDベースのリフレッシュを採用した。 TSR-Adamは60Mから1Bのモデルスケールで事前トレーニングを行い、ステップ毎の平均通信バイトを13倍に削減し、GLUEの微調整では通信を25倍に削減し、同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2026-02-08T15:23:09Z)
One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
論文参考訳（メタデータ） (2026-01-13T04:47:22Z)
FedScalar: A Communication efficient Federated Learning [0.0]
フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
論文参考訳（メタデータ） (2024-10-03T07:06:49Z)
Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文参考訳（メタデータ） (2022-12-26T15:13:13Z)
OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文参考訳（メタデータ） (2022-05-13T07:46:43Z)
Federated Optimization of Smooth Loss Functions [35.944772011421264]
本研究では,連合学習フレームワークにおける経験的リスク最小化(ERM)について検討する。本稿では,FedLRGDアルゴリズムを提案する。提案手法は,不正確な勾配勾配勾配を用いてサーバのERM問題を解く。
論文参考訳（メタデータ） (2022-01-06T07:40:51Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。