論文の概要: Faithful Edge Federated Learning: Scalability and Privacy
- arxiv url: http://arxiv.org/abs/2106.15905v1
- Date: Wed, 30 Jun 2021 08:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-01 22:18:54.203799
- Title: Faithful Edge Federated Learning: Scalability and Privacy
- Title（参考訳）: 忠実なエッジフェデレーション学習: スケーラビリティとプライバシ
- Authors: Meng Zhang, Ermin Wei, and Randall Berry
- Abstract要約: フェデレーション学習は、ローカルデータセットの交換を必要とせずに、分散型エッジデバイスのネットワーク上で機械学習アルゴリズムをトレーニングすることを可能にする。
エージェントが自発的に参加するインセンティブに、フェデレーション学習の鍵となる特徴、不均衡データおよび非i.d.データがどのように影響するかを分析する。
経済性,スケーラビリティ,プライバシを満足する2つの忠実な連合学習機構を設計する。
- 参考スコア（独自算出の注目度）: 4.8534377897519105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning enables machine learning algorithms to be trained over a
network of multiple decentralized edge devices without requiring the exchange
of local datasets. Successfully deploying federated learning requires ensuring
that agents (e.g., mobile devices) faithfully execute the intended algorithm,
which has been largely overlooked in the literature. In this study, we first
use risk bounds to analyze how the key feature of federated learning,
unbalanced and non-i.i.d. data, affects agents' incentives to voluntarily
participate and obediently follow traditional federated learning algorithms.
To be more specific, our analysis reveals that agents with less typical data
distributions and relatively more samples are more likely to opt out of or
tamper with federated learning algorithms. To this end, we formulate the first
faithful implementation problem of federated learning and design two faithful
federated learning mechanisms which satisfy economic properties, scalability,
and privacy. Further, the time complexity of computing all agents' payments in
the number of agents is $\mathcal{O}(1)$. First, we design a Faithful Federated
Learning (FFL) mechanism which approximates the Vickrey-Clarke-Groves (VCG)
payments via an incremental computation. We show that it achieves (probably
approximate) optimality, faithful implementation, voluntary participation, and
some other economic properties (such as budget balance). Second, by
partitioning agents into several subsets, we present a scalable VCG mechanism
approximation. We further design a scalable and Differentially Private FFL
(DP-FFL) mechanism, the first differentially private faithful mechanism, that
maintains the economic properties. Our mechanism enables one to make three-way
performance tradeoffs among privacy, the iterations needed, and payment
accuracy loss.
- Abstract（参考訳）: フェデレーション学習は、ローカルデータセットの交換を必要とせずに、複数の分散エッジデバイスのネットワーク上で機械学習アルゴリズムをトレーニング可能にする。
連合学習をうまく展開するには、エージェント(例えばモバイルデバイス)が意図したアルゴリズムを忠実に実行する必要がある。
本研究では,まずリスク境界を用いて,連帯学習,不均衡学習,非i.i.dの鍵となる特徴を分析する。
データ エージェントのインセンティブ 自発的に参加し 従順に伝統的な 学習アルゴリズムに従う
より具体的には、より一般的なデータ分布や比較的多くのサンプルを持つエージェントが、連合学習アルゴリズムをオプトアウトまたはオプトアウトする可能性が高いことを分析によって明らかにしています。
この目的のために,フェデレーション学習の最初の忠実な実装問題を定式化し,経済特性,スケーラビリティ,プライバシを満足する2つの忠実なフェデレーション学習機構を設計する。
さらに、すべてのエージェントの支払いをエージェント数で計算する時間の複雑さは、$\mathcal{o}(1)$である。
まず,Vickrey-Clarke-Groves (VCG) の支払いをインクリメンタルな計算によって近似するFFL(Fithful Federated Learning) 機構を設計する。
我々は、(おそらく)最適性、忠実な実施、自発的な参加、その他の経済的特性(予算収支など)を達成することを示す。
次に,エージェントを複数のサブセットに分割することで,スケーラブルなVCG機構を近似する。
さらに、経済性を維持する最初の微分プライベート忠実なメカニズムである、スケーラブルで微分プライベートなFFL(DP-FFL)機構を設計する。
当社のメカニズムは,プライバシ,必要なイテレーション,支払精度損失の3方向のパフォーマンストレードオフを可能にする。
関連論文リスト
- A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。
我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。
実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文 参考訳（メタデータ） (2024-11-12T15:51:35Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Evaluation and comparison of federated learning algorithms for Human
Activity Recognition on smartphones [0.5039813366558306]
フェデレートラーニング(FL)は、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。
本稿では,FedDistと呼ばれる新しいFLアルゴリズムを提案する。
その結果、FedDistが異種データに適応できることと、FLが非同期な状況に対処できることが示されている。
論文 参考訳（メタデータ） (2022-10-30T18:47:23Z) - Multi-Agent Reinforcement Learning for Long-Term Network Resource
Allocation through Auction: a V2X Application [7.326507804995567]
我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。
我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。
本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-29T10:29:06Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳（メタデータ） (2022-05-05T05:44:26Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Reward-Based 1-bit Compressed Federated Distillation on Blockchain [14.365210947456209]
様々な形態のフェデレーション知識蒸留(FD)の出現は、新しい世代の堅牢でコミュニケーション効率の良いフェデレーション学習(FL)の道を開く。
本稿では,高度に圧縮された1ビットソフトラベルをスマートコントラクトに集約する分散化フェデレーション学習フレームワークを提案する。
労働者のコントリビューションが簡単に比較できる状況では、FDのPier Truth Serum for Crowdsourcing Mechanism(PTSC)を変更して、正直な参加に報いる。
論文 参考訳（メタデータ） (2021-06-27T15:51:04Z) - Online Learning of Competitive Equilibria in Exchange Economies [94.24357018178867]
経済学では、複数の有理エージェント間の資源不足の共有は古典的な問題である。
エージェントの好みを学習するためのオンライン学習機構を提案する。
数値シミュレーションにより,本機構の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-11T21:32:17Z) - Additively Homomorphical Encryption based Deep Neural Network for
Asymmetrically Collaborative Machine Learning [12.689643742151516]
機械学習の保存は、金融セクターにおけるさらなる適用を制限する制約を生み出す。
我々は、ある当事者がデータを所有するが、別の当事者がラベルのみを所有する新しい協調機械学習の実践的手法を提案する。
異なるデータセットに対する我々の実験は、精度のない安定したトレーニングだけでなく、100倍以上のスピードアップも示しています。
論文 参考訳（メタデータ） (2020-07-14T06:43:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。