論文の概要: Out-of-Distribution Federated Distillation with Domain-Aware Proxy
- arxiv url: http://arxiv.org/abs/2608.08525v1
- Date: Sun, 09 Aug 2026 06:53:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.860694
- Title: Out-of-Distribution Federated Distillation with Domain-Aware Proxy
- Title（参考訳）: ドメイン・アウェア・プロキシによるアウト・オブ・ディストリビューション・フェデレーション蒸留
- Abstract要約: フェデレート蒸留(Federated Distillation, FD)は、知識蒸留を利用した分散機械学習パラダイムに基づいて、プロキシデータ上でのソフトな予測を交換する。
In-Distributionデータに基づいてトレーニングされたFDモデルは、out-of-Distribution (OOD)のシナリオにはほとんど適応しない。
OOD問題にプロキシデータを採用するためのドメイン対応プロキシ選択フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.819856310521865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a distributed machine learning paradigm that trains a global model by aggregating local clients without sharing private data of each client. Federated Distillation (FD) builds upon this paradigm by leveraging knowledge distillation to exchange soft predictions on proxy data instead of model parameters, enabling more efficient communication and supporting heterogeneous model collaboration. However, FD models trained on In-Distribution data are hardly adapted to Out-of-Distribution (OOD) scenarios. In this paper, we propose a domain-aware proxy selection framework to better adopt proxy data for OOD problems. The experimental results show that the proposed models effectively address the challenges of distribution shifts under OOD with and without proxy data by achieving average 82.9\% and 80.6\% over existing works on standard benchmarks. The codes and data are released in https://anonymous.4open.science/r/DPS-FD-8596.
- Abstract（参考訳）: Federated Learningは、各クライアントのプライベートデータを共有せずに、ローカルクライアントを集約することでグローバルモデルをトレーニングする分散機械学習パラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、知識蒸留を利用して、モデルパラメータの代わりにプロキシデータ上でソフトな予測を交換することで、より効率的なコミュニケーションを可能にし、異種モデルコラボレーションをサポートする。
しかし、In-Distributionデータに基づいてトレーニングされたFDモデルは、out-of-Distribution (OOD)のシナリオにはほとんど適応しない。
本稿では,OOD問題に対するプロキシデータをよりよく適用するための,ドメイン対応プロキシ選択フレームワークを提案する。
実験結果から,提案モデルでは,標準ベンチマークにおける既存の作業よりも平均82.9\%,80.6\%を達成し,プロキシデータを使用しないOOD下での分散シフトの課題に効果的に対処できることが示唆された。
コードとデータはhttps://anonymous.4open.science/r/DPS-FD-8596で公開されている。
関連論文リスト
- Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:37:16Z) - Federated Learning for Diffusion Models [12.46092849473786]
拡散モデルは、様々なタスクに対して非常に現実的なサンプルを生成することができる強力な生成モデルである。
拡散確率モデルを用いたFedDDPM-Federated Learningを提案する。
本稿では、FedDDPMの厳密な収束解析を行い、トレーニングオーバーヘッドを低減するための強化アルゴリズムであるFedDDPM+を提案する。
論文 参考訳（メタデータ） (2025-03-09T03:41:10Z) - Disentangling data distribution for Federated Learning [20.524108508314107]
フェデレートラーニング(FL)は、分散クライアントが所有するプライベートデータによってパフォーマンスが向上するグローバルモデルの協調トレーニングを促進する。
しかし、FLの幅広い適用性は、異なるクライアント間のデータ分散の絡み合いによって妨げられている。
本稿では,FLがデータ分散を解き放つことによって,分散システムに匹敵する効率を原理的に達成できることを初めて示す。
論文 参考訳（メタデータ） (2024-10-16T13:10:04Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - Suppressing Poisoning Attacks on Federated Learning for Medical Imaging [4.433842217026879]
本稿では, ビザンチン障害に対する耐性を有する分散型外乱抑制法(DOS)を提案する。
提案手法は,異なるクライアントのローカルパラメータ更新間の距離を計算し,各クライアントに対してアウトラヤスコアを求める。
得られたアウトリーチスコアはソフトマックス関数を用いて正規化重みに変換され、局所パラメータの重み付け平均がグローバルモデル更新に使用される。
論文 参考訳（メタデータ） (2022-07-15T00:43:34Z) - Exploring the Distributed Knowledge Congruence in Proxy-data-free
Federated Distillation [20.24005399782197]
フェデレートラーニング(Federated Learning)は、プライバシを保存する機械学習パラダイムである。
最近のプロキシデータフリーなFDアプローチは、追加の公開データの必要性を排除できるが、局所的な知識の相違に悩まされている。
分散知識合同(FedDKC)に基づくプロキシフリーFDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-04-14T15:39:22Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。
本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。
その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文 参考訳（メタデータ） (2021-12-02T16:50:57Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。