論文の概要: Benchmarking Mutual Information-based Loss Functions in Federated Learning

• arxiv url: http://arxiv.org/abs/2504.11877v1
• Date: Wed, 16 Apr 2025 08:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:24.996748
• Title: Benchmarking Mutual Information-based Loss Functions in Federated Learning
• Title（参考訳）: フェデレーション学習における相互情報に基づく損失関数のベンチマーク
• Authors: Sarang S, Harsh D. Chothani, Qilei Li, Ahmed M. Abdelmoniem, Arnab K. Paul,
• Abstract要約: フェデレートラーニング(FL)は、プライバシー規制の増大により、かなりの関心を集めている。 本稿では、これらの問題に対処するための相互情報に基づく損失関数の使用について検討する。
• 参考スコア（独自算出の注目度）: 2.79786165508341
• License:
• Abstract: Federated Learning (FL) has attracted considerable interest due to growing privacy concerns and regulations like the General Data Protection Regulation (GDPR), which stresses the importance of privacy-preserving and fair machine learning approaches. In FL, model training takes place on decentralized data, so as to allow clients to upload a locally trained model and receive a globally aggregated model without exposing sensitive information. However, challenges related to fairness-such as biases, uneven performance among clients, and the "free rider" issue complicates its adoption. In this paper, we examine the use of Mutual Information (MI)-based loss functions to address these concerns. MI has proven to be a powerful method for measuring dependencies between variables and optimizing deep learning models. By leveraging MI to extract essential features and minimize biases, we aim to improve both the fairness and effectiveness of FL systems. Through extensive benchmarking, we assess the impact of MI-based losses in reducing disparities among clients while enhancing the overall performance of FL.
• Abstract（参考訳）: Federated Learning (FL)は、プライバシに関する懸念や、プライバシ保護と公正な機械学習アプローチの重要性を強調するGeneral Data Protection Regulation (GDPR)のような規制の増大によって、かなりの関心を集めている。 FLでは、モデルトレーニングが分散データ上で行われ、クライアントがローカルにトレーニングされたモデルをアップロードし、センシティブな情報を漏らさずにグローバルに集約されたモデルを受信できるようにします。 しかしながら、バイアスやクライアント間の不均一なパフォーマンス、"フリーライダー"問題といった公平性に関わる課題は、その採用を複雑にしている。 本稿では,相互情報(MI)に基づく損失関数を用いて,これらの問題に対処する方法について検討する。 MIは、変数間の依存関係を計測し、ディープラーニングモデルを最適化する強力な方法であることが証明されている。 MIを利用して重要な特徴を抽出しバイアスを最小限にすることで、FLシステムの公平性と有効性の両方を改善することを目指している。 広域ベンチマークにより、クライアント間の格差を低減し、FLの全体的な性能を向上するMIベースの損失の影響を評価した。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline for Federated Image Classifications [5.5099914877576985]
  Federated Learning(FL)は、機密データを保護し、モデルパフォーマンスを改善しながら、分散コラボレーションを可能にすることによって、ディープニューラルネットワークのトレーニング方法に革命をもたらした。 本稿では,これらの課題に対処するだけでなく,FLシステムにおける高度な集約技術に対して$mathsfbaseline$として基本的な参照ポイントを提供する,Estimated Mean Aggregation (EMA) という革新的なソリューションを紹介する。
  論文  参考訳（メタデータ） (2023-09-21T17:17:28Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• A Communication-efficient Federated learning assisted by Central data: Implementation of vertical training into Horizontal Federated learning [16.023049444744277]
  フェデレートラーニング(FL)は、IoTで分散データセットでモデルを共同トレーニングするために登場した。 分散クライアント間の水平FLにおいて、中央機関はモデルアグリゲータとしてのみ機能し、そのグローバルな特徴を利用してモデルをさらに改善する。 本稿では,縦-水平連成学習(VHFL)プロセスを開発し,グローバルな特徴を,余分な通信ラウンドを伴わない縦-水平連成学習(VHFL)手法でエージェントと共有する。
  論文  参考訳（メタデータ） (2021-12-02T08:02:57Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
  フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。 平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。 破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
  論文  参考訳（メタデータ） (2021-01-14T21:54:55Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Addressing Class Imbalance in Federated Learning [10.970632986559547]
  Federated Learning(FL)は、ローカルクライアントデバイス上の分散データをトレーニングするための有望なアプローチである。 本研究では,FLラウンド毎のトレーニングデータの組成を推定し,その影響を軽減するために新しい損失関数 textbfRatio Loss を設計する。
  論文  参考訳（メタデータ） (2020-08-14T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。