論文の概要: Aequa: Fair Model Rewards in Collaborative Learning via Slimmable Networks

• arxiv url: http://arxiv.org/abs/2502.04850v1
• Date: Fri, 07 Feb 2025 11:39:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:55:28.187428
• Title: Aequa: Fair Model Rewards in Collaborative Learning via Slimmable Networks
• Title（参考訳）: Aequa: Slimmable Networksによる協調学習におけるフェアモデルリワード
• Authors: Nurbek Tastan, Samuel Horvath, Karthik Nandakumar,
• Abstract要約: コラボレーション学習により、複数の参加者がデータを共有する代わりに集中的な更新を交換することで、単一のグローバルモデルを学ぶことができる。 共同学習における中核的な課題の1つは、参加者が貢献に対して公平に報酬を受けることを保証することである。 この研究は、モデル報酬を通じて参加者にインセンティブを与える、公平な報酬配分に焦点を当てている。
• 参考スコア（独自算出の注目度）: 4.494911384096143
• License:
• Abstract: Collaborative learning enables multiple participants to learn a single global model by exchanging focused updates instead of sharing data. One of the core challenges in collaborative learning is ensuring that participants are rewarded fairly for their contributions, which entails two key sub-problems: contribution assessment and reward allocation. This work focuses on fair reward allocation, where the participants are incentivized through model rewards - differentiated final models whose performance is commensurate with the contribution. In this work, we leverage the concept of slimmable neural networks to collaboratively learn a shared global model whose performance degrades gracefully with a reduction in model width. We also propose a post-training fair allocation algorithm that determines the model width for each participant based on their contributions. We theoretically study the convergence of our proposed approach and empirically validate it using extensive experiments on different datasets and architectures. We also extend our approach to enable training-time model reward allocation.
• Abstract（参考訳）: コラボレーション学習により、複数の参加者がデータを共有する代わりに集中的な更新を交換することで、単一のグローバルモデルを学ぶことができる。 共同学習における中核的な課題の1つは、参加者がコントリビューションに対して公平に報酬を受けられるようにすることであり、コントリビューションアセスメントとアロケーションの2つの重要なサブプロブレムを必要とする。 この仕事は、参加者がモデル報酬を通じてインセンティブを得る、公正な報酬配分に焦点を当てている。 本研究では、スリム化可能なニューラルネットワークの概念を活用し、モデル幅の削減とともに性能が低下する共有グローバルモデルを協調的に学習する。 また,各参加者のモデル幅を決定する学習後フェアアロケーションアルゴリズムを提案する。 提案手法の収束を理論的に研究し、異なるデータセットやアーキテクチャに関する広範な実験を用いて実証的に検証する。 また、トレーニングタイムモデルの報酬配分を可能にするためのアプローチも拡張しています。

関連論文リスト

• Redefining Contributions: Shapley-Driven Federated Learning [3.9539878659683363]
  フェデレーテッド・ラーニング(FL)は、機械学習において重要なアプローチとして登場した。 参加者が平等に、あるいは正直に貢献しない場合、グローバルなモデル収束を保証することは困難です。 本稿では,FLにおけるコントリビューションの詳細な評価のために,ShapFedと呼ばれる新しいコントリビューションアセスメントアセスメント手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T22:40:31Z)
• FedSAC: Dynamic Submodel Allocation for Collaborative Fairness in Federated Learning [46.30755524556465]
  協調フェアネスのための動的サブモデルアロケーションを備えた新しいフェデレーション学習フレームワークであるFedSACを提案する。 等価性を理論的に保証したサブモデルアロケーションモジュールを開発する。 3つの公開ベンチマークで行った実験は、FedSACが全てのベースライン法を公平性とモデル精度の両方で上回っていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T15:43:29Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Fair yet Asymptotically Equal Collaborative Learning [32.588043205577435]
  ストリーミングデータとのコラボレーティブな学習において、ノードは最新のストリーミングデータから計算された最新のモデル更新を共有することによって、機械学習(ML)モデルを共同で継続的に学習する。 本稿では,ノードに報酬が与えられるように公平性を保証するインセンティブ設計について検討する。 実世界のストリーミングデータを用いた実証実験により,提案手法は,等価性を維持する上で競争力を維持しつつ,既存のベースラインを公平性と学習性能で上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-09T08:57:14Z)
• Incentivizing Honesty among Competitors in Collaborative Learning and Optimization [5.4619385369457225]
  協調学習技術は、単一のエンティティのデータでトレーニングされたモデルよりも優れた機械学習モデルを可能にする可能性がある。 多くの場合、このような協調的なスキームの潜在的な参加者は、下流のタスクで競合する。
  論文  参考訳（メタデータ） (2023-05-25T17:28:41Z)
• Model-Contrastive Federated Learning [92.9075661456444]
  フェデレーションラーニングにより、複数のパーティがローカルデータを伝達することなく、機械学習モデルを共同でトレーニングできます。 MOON:モデルコントラスト連合学習を提案します。 実験の結果,MOONは様々な画像分類タスクにおいて,他の最先端のフェデレーション学習アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-30T11:16:57Z)
• Collaborative Fairness in Federated Learning [24.7378023761443]
  深層学習のための新しい協調フェアフェデレーションラーニング(CFFL)フレームワークを提案する。 CFFLは参加者に異なるモデルに収束させ、予測性能を損なうことなく公正を達成する。 ベンチマークデータセットの実験では、CFFLは高い公正性を達成し、分散フレームワークに匹敵する精度を提供する。
  論文  参考訳（メタデータ） (2020-08-27T14:39:09Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。