論文の概要: Gradient Assisted Learning
- arxiv url: http://arxiv.org/abs/2106.01425v1
- Date: Wed, 2 Jun 2021 19:12:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 16:06:10.209321
- Title: Gradient Assisted Learning
- Title(参考訳): 勾配支援学習
- Authors: Enmao Diao, Jie Ding, Vahid Tarokh
- Abstract要約: 本研究では,データやモデル,目的関数を共有せずに,教師付き学習タスクにおいて相互に支援する手法を提案する。
このフレームワークでは、すべての参加者が協調して局所的損失関数の集合を最適化し、各参加者は独自のモデルを構築する。
実験により、すべてのデータ、モデル、目的関数が完全に開示されると、グラディエント支援学習は集中学習に近いパフォーマンスを達成できることが示された。
- 参考スコア(独自算出の注目度): 34.24028216079336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In distributed settings, collaborations between different entities, such as
financial institutions, medical centers, and retail markets, are crucial to
providing improved service and performance. However, the underlying entities
may have little interest in sharing their private data, proprietary models, and
objective functions. These privacy requirements have created new challenges for
collaboration. In this work, we propose Gradient Assisted Learning (GAL), a new
method for various entities to assist each other in supervised learning tasks
without sharing data, models, and objective functions. In this framework, all
participants collaboratively optimize the aggregate of local loss functions,
and each participant autonomously builds its own model by iteratively fitting
the gradients of the objective function. Experimental studies demonstrate that
Gradient Assisted Learning can achieve performance close to centralized
learning when all data, models, and objective functions are fully disclosed.
- Abstract(参考訳): 分散環境では、金融機関、医療センター、小売市場といった様々な組織間のコラボレーションが、サービスとパフォーマンスの向上に不可欠である。
しかし、基盤となるエンティティは、プライベートデータ、プロプライエタリなモデル、客観的関数を共有することにはほとんど関心がないかもしれない。
これらのプライバシー要件はコラボレーションの新たな課題を生み出した。
本研究では,データやモデル,目的関数を共有せずに,教師付き学習タスクにおいて相互に支援を行う新しい手法であるグラディエント支援学習(GAL)を提案する。
この枠組みでは,各参加者は局所的損失関数の集合を協調的に最適化し,各参加者は目的関数の勾配を反復的に適合させることで,自発的に独自のモデルを構築する。
実験により、すべてのデータ、モデル、目的関数が完全に開示されると、グラディエント支援学習は集中学習に近いパフォーマンスを達成できることが示された。
関連論文リスト
- Functional Knowledge Transfer with Self-supervised Representation
Learning [11.566644244783305]
本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。
本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
論文 参考訳(メタデータ) (2023-03-12T21:14:59Z) - Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
プライベートデータによる分散学習は、機械学習の中心的な問題である。
本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
論文 参考訳(メタデータ) (2022-11-28T21:01:43Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。
提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。
我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
論文 参考訳(メタデータ) (2022-05-25T05:07:44Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳(メタデータ) (2022-02-10T20:44:44Z) - Assisted Learning for Organizations with Limited Imbalanced Data [17.34334881241701]
組織が学習能力を向上させるための支援学習フレームワークを開発する。
当社のフレームワークでは,学習者が時々サービスプロバイダと情報を共有するだけでなく,ニアオーラルなパフォーマンスを実現するモデルも取得できる。
論文 参考訳(メタデータ) (2021-09-20T05:57:52Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Assisted Learning: A Framework for Multi-Organization Learning [16.6491720806269]
我々は、組織のアルゴリズム、データ、あるいはタスクを明らかにすることなく、教師付き学習タスクで互いに助け合うための支援学習フレームワークを紹介します。
組織は、タスク固有の統計を放送し、他の人のフィードバックを1つ以上のイテレーションに取り入れ、最終的に予測性能を改善することで支援を求める。
論文 参考訳(メタデータ) (2020-04-01T16:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。