論文の概要: Incentivizing Honesty among Competitors in Collaborative Learning and
Optimization
- arxiv url: http://arxiv.org/abs/2305.16272v3
- Date: Mon, 30 Oct 2023 09:22:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 02:14:47.261360
- Title: Incentivizing Honesty among Competitors in Collaborative Learning and
Optimization
- Title（参考訳）: 協調学習と最適化における競争相手の正直感
- Authors: Florian E. Dorner, Nikola Konstantinov, Georgi Pashaliev, Martin
Vechev
- Abstract要約: 協調学習技術は、単一のエンティティのデータでトレーニングされたモデルよりも優れた機械学習モデルを可能にする可能性がある。
多くの場合、このような協調的なスキームの潜在的な参加者は、下流のタスクで競合する。
- 参考スコア（独自算出の注目度）: 5.4619385369457225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative learning techniques have the potential to enable training
machine learning models that are superior to models trained on a single
entity's data. However, in many cases, potential participants in such
collaborative schemes are competitors on a downstream task, such as firms that
each aim to attract customers by providing the best recommendations. This can
incentivize dishonest updates that damage other participants' models,
potentially undermining the benefits of collaboration. In this work, we
formulate a game that models such interactions and study two learning tasks
within this framework: single-round mean estimation and multi-round SGD on
strongly-convex objectives. For a natural class of player actions, we show that
rational clients are incentivized to strongly manipulate their updates,
preventing learning. We then propose mechanisms that incentivize honest
communication and ensure learning quality comparable to full cooperation.
Lastly, we empirically demonstrate the effectiveness of our incentive scheme on
a standard non-convex federated learning benchmark. Our work shows that
explicitly modeling the incentives and actions of dishonest clients, rather
than assuming them malicious, can enable strong robustness guarantees for
collaborative learning.
- Abstract（参考訳）: 協調学習技術は、単一のエンティティのデータでトレーニングされたモデルよりも優れた機械学習モデルのトレーニングを可能にする可能性がある。
しかし、多くの場合、このような協力的なスキームの潜在的な参加者は、最善のレコメンデーションを提供することで顧客を引き付けようとする企業のような下流のタスクの競合である。
これは他の参加者のモデルを傷つける不名誉なアップデートをインセンティブにし、コラボレーションのメリットを損なう可能性がある。
本研究では,このようなインタラクションをモデル化したゲームを定式化し,このフレームワークにおける2つの学習タスクについて検討する。
プレイヤーアクションの自然なクラスについて、合理的なクライアントは、その更新を強く操作し、学習を妨げていることを示す。
次に、正直なコミュニケーションを動機づけ、完全協調に匹敵する学習品質を確保するメカニズムを提案する。
最後に、標準の非凸フェデレーション学習ベンチマークにおけるインセンティブスキームの有効性を実証的に実証する。
私たちの研究は、不正なクライアントのインセンティブや行動を明確にモデル化し、悪意のあるクライアントと仮定するのではなく、協調学習のための強力な堅牢性を保証することを示しています。
関連論文リスト
- Collaborative Active Learning in Conditional Trust Environment [1.3846014191157405]
複数の協力者が既存のデータやモデルを開示することなく、組み合わせた機械学習機能を活用して新しいドメインを探索するパラダイムである、協調型アクティブラーニングについて検討する。
このコラボレーションは、(a)直接モデルとデータ開示の必要性を排除し、プライバシとセキュリティの懸念に対処する、(b)直接データ交換なしで異なるデータソースとインサイトの使用を可能にする、(c)共有ラベリングコストを通じてコスト効率とリソース効率を促進する、といういくつかの利点を提供する。
論文 参考訳（メタデータ） (2024-03-27T10:40:27Z) - On the Effect of Defections in Federated Learning and How to Prevent
Them [20.305263691102727]
フェデレートラーニング(Federated Learning)は、多数のエージェントが複数のラウンドで協力して単一のコンセンサスモデルを生成することができる、機械学習プロトコルである。
この研究は、そのような欠陥が最終モデルの堅牢性と一般化能力に与える影響を実証する。
本稿では,全てのエージェントに対して有効な解法を示すために,収束性を確保しつつ,欠陥の防止を理論的に保証する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-28T03:34:22Z) - Incentivized Communication for Federated Bandits [67.4682056391551]
我々は,サーバがインセンティブを提供することでクライアントにデータを共有する動機付けを行う,フェデレートされた盗賊に対するインセンティブ付きコミュニケーション問題を導入する。
本稿では,実証可能な通信とインセンティブコスト保証により,ほぼ最適の後悔を実現する,最初のインセンティブ付き通信プロトコルであるInc-FedUCBを提案する。
論文 参考訳（メタデータ） (2023-09-21T00:59:20Z) - Collaborative Learning via Prediction Consensus [38.89001892487472]
我々は,協力者の専門知識を活用して,各エージェントの目標が自身のモデルを改善するための協調学習環境を考える。
本研究では, 共分散ラベル付き補助データを利用した蒸留法を提案する。
我々は,協調方式が個々のモデルの性能を大幅に向上させることができることを実証的に実証した。
論文 参考訳（メタデータ） (2023-05-29T14:12:03Z) - Incentivizing Federated Learning [2.420324724613074]
本稿では,顧客に対して可能な限り多くのデータ提供を促すインセンティブメカニズムを提案する。
従来のインセンティブメカニズムとは異なり、私たちのアプローチはデータを収益化しません。
理論的には、ある条件下では、クライアントがフェデレーション学習に参加できる限り多くのデータを使用することを証明します。
論文 参考訳（メタデータ） (2022-05-22T23:02:43Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - Mutual Adversarial Training: Learning together is better than going
alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。
本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。
MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文 参考訳（メタデータ） (2021-12-09T15:59:42Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - FERN: Fair Team Formation for Mutually Beneficial Collaborative Learning [9.484474204788349]
この研究は、相互に有益なピアラーニングを促進する公正なチーム形成アプローチであるFERNを導入している。
この問題をNPhardの離散最適化問題として示し,ヒルクライミングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-23T18:38:01Z) - Peer Collaborative Learning for Online Knowledge Distillation [69.29602103582782]
Peer Collaborative Learningメソッドは、オンラインアンサンブルとネットワークコラボレーションを統合フレームワークに統合する。
CIFAR-10, CIFAR-100, ImageNetによる実験により, 提案手法は種々のバックボーンネットワークの一般化を著しく改善することを示した。
論文 参考訳（メタデータ） (2020-06-07T13:21:52Z) - Dual Policy Distillation [58.43610940026261]
教員政策を学生政策に転換する政策蒸留は、深層強化学習の課題において大きな成功を収めた。
本研究では,2人の学習者が同じ環境下で活動し,環境の異なる視点を探索する,学生学生による二重政策蒸留(DPD)を導入する。
この二重学習フレームワークを開発する上で重要な課題は、同時代の学習に基づく強化学習アルゴリズムにおいて、ピア学習者から有益な知識を特定することである。
論文 参考訳（メタデータ） (2020-06-07T06:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。