論文の概要: Gradient Assisted Learning

• arxiv url: http://arxiv.org/abs/2106.01425v1
• Date: Wed, 2 Jun 2021 19:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:06:10.209321
• Title: Gradient Assisted Learning
• Title（参考訳）: 勾配支援学習
• Authors: Enmao Diao, Jie Ding, Vahid Tarokh
• Abstract要約: 本研究では,データやモデル,目的関数を共有せずに,教師付き学習タスクにおいて相互に支援する手法を提案する。 このフレームワークでは、すべての参加者が協調して局所的損失関数の集合を最適化し、各参加者は独自のモデルを構築する。 実験により、すべてのデータ、モデル、目的関数が完全に開示されると、グラディエント支援学習は集中学習に近いパフォーマンスを達成できることが示された。
• 参考スコア（独自算出の注目度）: 34.24028216079336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed settings, collaborations between different entities, such as financial institutions, medical centers, and retail markets, are crucial to providing improved service and performance. However, the underlying entities may have little interest in sharing their private data, proprietary models, and objective functions. These privacy requirements have created new challenges for collaboration. In this work, we propose Gradient Assisted Learning (GAL), a new method for various entities to assist each other in supervised learning tasks without sharing data, models, and objective functions. In this framework, all participants collaboratively optimize the aggregate of local loss functions, and each participant autonomously builds its own model by iteratively fitting the gradients of the objective function. Experimental studies demonstrate that Gradient Assisted Learning can achieve performance close to centralized learning when all data, models, and objective functions are fully disclosed.
• Abstract（参考訳）: 分散環境では、金融機関、医療センター、小売市場といった様々な組織間のコラボレーションが、サービスとパフォーマンスの向上に不可欠である。 しかし、基盤となるエンティティは、プライベートデータ、プロプライエタリなモデル、客観的関数を共有することにはほとんど関心がないかもしれない。 これらのプライバシー要件はコラボレーションの新たな課題を生み出した。 本研究では,データやモデル,目的関数を共有せずに,教師付き学習タスクにおいて相互に支援を行う新しい手法であるグラディエント支援学習(GAL)を提案する。 この枠組みでは,各参加者は局所的損失関数の集合を協調的に最適化し,各参加者は目的関数の勾配を反復的に適合させることで,自発的に独自のモデルを構築する。 実験により、すべてのデータ、モデル、目的関数が完全に開示されると、グラディエント支援学習は集中学習に近いパフォーマンスを達成できることが示された。

関連論文リスト

• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Task-Agnostic Federated Learning [4.041327615026293]
  本研究では,自己教師付きFLフレームワークを適応させることにより,未確認タスクのタスク非依存および一般化問題に対処する。 ビジョントランスフォーマー(ViT)を、自己教師付き事前トレーニングのためのコンセンサス機能エンコーダとして利用し、初期ラベルを必要とせず、さまざまなデータセットやタスク間で効果的な表現学習を可能にするフレームワークである。
  論文  参考訳（メタデータ） (2024-06-25T02:53:37Z)
• Distributed Continual Learning [12.18012293738896]
  本稿では,分散連続学習の本質的側面を捉える数学的枠組みを提案する。 データインスタンス、完全なモデルパラメータ、モジュール化された(部分的な)モデルパラメータです。 タスクが複雑になるにつれて、データを共有するよりも、パラメータを共有する方が効率的です。
  論文  参考訳（メタデータ） (2024-05-23T21:24:26Z)
• Collaborative Active Learning in Conditional Trust Environment [1.3846014191157405]
  複数の協力者が既存のデータやモデルを開示することなく、組み合わせた機械学習機能を活用して新しいドメインを探索するパラダイムである、協調型アクティブラーニングについて検討する。 このコラボレーションは、(a)直接モデルとデータ開示の必要性を排除し、プライバシとセキュリティの懸念に対処する、(b)直接データ交換なしで異なるデータソースとインサイトの使用を可能にする、(c)共有ラベリングコストを通じてコスト効率とリソース効率を促進する、といういくつかの利点を提供する。
  論文  参考訳（メタデータ） (2024-03-27T10:40:27Z)
• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
  異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。 提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。 我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-05-25T05:07:44Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。