論文の概要: TsmoBN: Interventional Generalization for Unseen Clients in Federated
Learning
- arxiv url: http://arxiv.org/abs/2110.09974v1
- Date: Tue, 19 Oct 2021 13:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 14:43:36.718988
- Title: TsmoBN: Interventional Generalization for Unseen Clients in Federated
Learning
- Title（参考訳）: TsmoBN:フェデレートラーニングにおける未確認クライアントのインターベンショナル一般化
- Authors: Meirui Jiang, Xiaofei Zhang, Michael Kamp, Xiaoxiao Li, Qi Dou
- Abstract要約: 本研究では,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(SCM)を構築した。
FLモデルをテストクライアントに一般化するために,テスト固有および運動量追跡バッチ正規化(TsmoBN)を用いた簡易かつ効果的な手法を提案する。
- 参考スコア（独自算出の注目度）: 23.519212374186232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalizing federated learning (FL) models to unseen clients with non-iid
data is a crucial topic, yet unsolved so far. In this work, we propose to
tackle this problem from a novel causal perspective. Specifically, we form a
training structural causal model (SCM) to explain the challenges of model
generalization in a distributed learning paradigm. Based on this, we present a
simple yet effective method using test-specific and momentum tracked batch
normalization (TsmoBN) to generalize FL models to testing clients. We give a
causal analysis by formulating another testing SCM and demonstrate that the key
factor in TsmoBN is the test-specific statistics (i.e., mean and variance) of
features. Such statistics can be seen as a surrogate variable for causal
intervention. In addition, by considering generalization bounds in FL, we show
that our TsmoBN method can reduce divergence between training and testing
feature distributions, which achieves a lower generalization gap than standard
model testing. Our extensive experimental evaluations demonstrate significant
improvements for unseen client generalization on three datasets with various
types of feature distributions and numbers of clients. It is worth noting that
our proposed approach can be flexibly applied to different state-of-the-art
federated learning algorithms and is orthogonal to existing domain
generalization methods.
- Abstract（参考訳）: フェデレーションドラーニング(FL)モデルを非IDデータで見えないクライアントに一般化することは重要なトピックだが、これまで未解決だった。
本研究では,新しい因果的視点からこの問題に取り組むことを提案する。
具体的には,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(scm)を形成する。
そこで本研究では,テスト専用および運動量追跡バッチ正規化(tsmobn)を用いて,flモデルをテストクライアントに一般化する簡易かつ効果的な手法を提案する。
我々は、別のテスト SCM を定式化して因果解析を行い、TsmoBN の重要な要素が特徴の試験固有統計(平均と分散)であることを示す。
このような統計は因果的介入の代理変数と見なすことができる。
さらに,flの一般化境界を考えることで,tsmobn法は,標準モデルテストよりも一般化ギャップの小さいトレーニングとテスト機能分布の相違を低減できることを示す。
実験により,様々な特徴分布とクライアント数を持つ3つのデータセットにおいて,クライアントの非認識化に対する大幅な改善が示された。
提案手法は,既存のドメイン一般化手法と直交した,異なる最先端のフェデレーション学習アルゴリズムに柔軟に適用可能であることに留意すべきである。
関連論文リスト
- MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。
現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文 参考訳（メタデータ） (2024-05-26T13:11:55Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳（メタデータ） (2023-10-12T19:07:58Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Exploiting Personalized Invariance for Better Out-of-distribution
Generalization in Federated Learning [13.246981646250518]
本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。
本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
論文 参考訳（メタデータ） (2022-11-21T08:17:03Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-11-03T15:48:14Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - The Conditional Entropy Bottleneck [8.797368310561058]
我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。
本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。
MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。
我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
論文 参考訳（メタデータ） (2020-02-13T07:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。