論文の概要: Global Intervention and Distillation for Federated Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2504.00850v1
- Date: Tue, 01 Apr 2025 14:36:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:24:36.409653
- Title: Global Intervention and Distillation for Federated Out-of-Distribution Generalization
- Title（参考訳）: フェデレーション・アウト・オブ・ディストリビューション・ジェネレーションのためのグローバル・インターベンションと蒸留
- Authors: Zhuang Qi, Runhui Zhang, Lei Meng, Wei Wu, Yachong Zhang, Xiangxu Meng,
- Abstract要約: 連合学習における属性スキューは、地元のモデルを非因果関係の学習に集中させる。
本稿では,背景とラベルの急激な関係を断ち切るために,バックドア調整に多様な属性特徴を利用するFedGIDを提案する。
3つのデータセットの実験結果から、FedGIDは、見えないデータで主対象に集中するモデルの能力を向上することを示した。
- 参考スコア（独自算出の注目度）: 7.905159090314987
- License:
- Abstract: Attribute skew in federated learning leads local models to focus on learning non-causal associations, guiding them towards inconsistent optimization directions, which inevitably results in performance degradation and unstable convergence. Existing methods typically leverage data augmentation to enhance sample diversity or employ knowledge distillation to learn invariant representations. However, the instability in the quality of generated data and the lack of domain information limit their performance on unseen samples. To address these issues, this paper presents a global intervention and distillation method, termed FedGID, which utilizes diverse attribute features for backdoor adjustment to break the spurious association between background and label. It includes two main modules, where the global intervention module adaptively decouples objects and backgrounds in images, injects background information into random samples to intervene in the sample distribution, which links backgrounds to all categories to prevent the model from treating background-label associations as causal. The global distillation module leverages a unified knowledge base to guide the representation learning of client models, preventing local models from overfitting to client-specific attributes. Experimental results on three datasets demonstrate that FedGID enhances the model's ability to focus on the main subjects in unseen data and outperforms existing methods in collaborative modeling.
- Abstract（参考訳）: 連合学習における属性スキューは、局所モデルを非因果関係の学習に集中させ、不整合最適化方向へと誘導し、必然的に性能劣化と不安定な収束をもたらす。
既存の方法は、データ拡張を利用してサンプルの多様性を高めたり、知識蒸留を使って不変表現を学習するのが一般的である。
しかし、生成されたデータの品質の不安定さとドメイン情報の欠如は、目に見えないサンプルのパフォーマンスを制限します。
これらの課題に対処するため,FedGIDと呼ばれるグローバルな介入蒸留手法を提案し,背景とラベルの急激な関係を破るために,バックドア調整に多彩な属性特性を利用する。
このモジュールには2つの主要なモジュールが含まれており、大域的介入モジュールは画像中のオブジェクトと背景を適応的に分離し、背景情報をランダムなサンプルに注入してサンプル分布に介入する。
グローバル蒸留モジュールは統合知識ベースを活用して、クライアントモデルの表現学習をガイドし、ローカルモデルがクライアント固有の属性に過度に適合することを防ぐ。
3つのデータセットの実験結果から、FedGIDは、目に見えないデータにおいて主対象に集中し、協調モデリングにおいて既存の手法より優れているというモデルの能力を高めることが示されている。
関連論文リスト
- FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。
FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。
これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
論文 参考訳（メタデータ） (2024-12-05T18:42:29Z) - A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。
CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。
本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2024-07-31T08:42:48Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - FedCiR: Client-Invariant Representation Learning for Federated Non-IID
Features [15.555538379806135]
Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。
我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
論文 参考訳（メタデータ） (2023-08-30T06:36:32Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳（メタデータ） (2022-11-14T13:59:50Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-05T09:15:13Z) - Unsupervised Learning of Global Factors in Deep Generative Models [6.362733059568703]
非i.i.dに基づく新しい深層生成モデルを提案する。
変分オートエンコーダ。
モデルがドメインアライメントを行い、相関関係を見つけ、異なるデータベース間で補間することを示す。
また、非自明な基礎構造を持つ観測群を区別するグローバル空間の能力についても研究する。
論文 参考訳（メタデータ） (2020-12-15T11:55:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。