論文の概要: A decentralized aggregation mechanism for training deep learning models
using smart contract system for bank loan prediction
- arxiv url: http://arxiv.org/abs/2011.10981v1
- Date: Sun, 22 Nov 2020 10:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 12:18:18.340886
- Title: A decentralized aggregation mechanism for training deep learning models
using smart contract system for bank loan prediction
- Title(参考訳): 銀行ローン予測のためのスマートコントラクトシステムを用いたディープラーニングモデルの学習のための分散集約機構
- Authors: Pratik Ratadiya, Khushi Asawa, Omkar Nikhal
- Abstract要約: スマートコントラクトシステムを用いてディープラーニングアーキテクチャのトレーニングを行う場合,分散データ設定のメリットを享受するソリューションを提案する。
ブロックチェーン上でのローカルANNモデルから得られた中間表現を集約する機構を提案する。
得られたパフォーマンスは、個々のノードよりも優れているが、集中型データ設定と同等である。
- 参考スコア(独自算出の注目度): 0.1933681537640272
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Data privacy and sharing has always been a critical issue when trying to
build complex deep learning-based systems to model data. Facilitation of a
decentralized approach that could take benefit from data across multiple nodes
while not needing to merge their data contents physically has been an area of
active research. In this paper, we present a solution to benefit from a
distributed data setup in the case of training deep learning architectures by
making use of a smart contract system. Specifically, we propose a mechanism
that aggregates together the intermediate representations obtained from local
ANN models over a blockchain. Training of local models takes place on their
respective data. The intermediate representations derived from them, when
combined and trained together on the host node, helps to get a more accurate
system. While federated learning primarily deals with the same features of data
where the number of samples being distributed on multiple nodes, here we are
dealing with the same number of samples but with their features being
distributed on multiple nodes. We consider the task of bank loan prediction
wherein the personal details of an individual and their bank-specific details
may not be available at the same place. Our aggregation mechanism helps to
train a model on such existing distributed data without having to share and
concatenate together the actual data values. The obtained performance, which is
better than that of individual nodes, and is at par with that of a centralized
data setup makes a strong case for extending our technique across other
architectures and tasks. The solution finds its application in organizations
that want to train deep learning models on vertically partitioned data.
- Abstract(参考訳): データプライバシと共有は、データモデリングのために複雑なディープラーニングベースのシステムを構築しようとする場合、常に重要な問題である。
データを物理的にマージする必要がなく、複数のノードにまたがるデータから恩恵を受ける分散型アプローチの促進は、活発な研究の領域であった。
本稿では,スマートコントラクトシステムを用いてディープラーニングアーキテクチャをトレーニングする場合に,分散データセットのメリットを享受するソリューションを提案する。
具体的には,ブロックチェーン上でのローカルANNモデルから得られた中間表現を集約する機構を提案する。
ローカルモデルのトレーニングは、それぞれのデータに基づいて行われる。
これらから派生した中間表現は、ホストノード上で組み合わせて訓練することで、より正確なシステムを得るのに役立つ。
連合学習は、主に複数のノードに分散されているサンプルの数と同じデータの特徴を扱うが、ここでは、同じ数のサンプルを扱うが、それらの機能は複数のノードに分散している。
我々は、個人の個人的詳細とその銀行固有の詳細が同じ場所では利用できない銀行ローン予測のタスクについて検討する。
集約機構は,既存の分散データに対して,実際のデータ値の共有や結合を必要とせずにモデルをトレーニングするのに役立つ。
得られたパフォーマンスは個々のノードのそれよりも優れており、集中型データセットのそれと同等であるため、我々のテクニックを他のアーキテクチャやタスクに拡張する上では強力なケースになります。
このソリューションは、垂直分割されたデータでディープラーニングモデルをトレーニングしたい組織に応用されている。
関連論文リスト
- Distributed Learning over Networks with Graph-Attention-Based
Personalization [49.90052709285814]
分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。
特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。
グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
論文 参考訳(メタデータ) (2023-05-22T13:48:30Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳(メタデータ) (2022-06-02T20:19:51Z) - Implicit Model Specialization through DAG-based Decentralized Federated
Learning [0.0]
フェデレートされた学習により、分散クライアントのグループは、プライベートデータ上で共通の機械学習モデルをトレーニングできる。
連合学習における分散化とパーソナライズへの統一的なアプローチを提案する。
評価の結果,モデル更新のDAGに基づく通信から直接,モデルの特殊化が現れることがわかった。
論文 参考訳(メタデータ) (2021-11-01T20:55:47Z) - A communication efficient distributed learning framework for smart
environments [0.4898659895355355]
本稿では,データ生成箇所にデータ分析を近づける分散学習フレームワークを提案する。
分散機械学習技術を使用することで、クラウドソリューションに匹敵するパフォーマンスを確保しながら、ネットワークオーバーヘッドを大幅に削減することができる。
分析はまた、ノード上のデータの特定の分布に基づいて、各分散学習アプローチがいつ好ましいかを示す。
論文 参考訳(メタデータ) (2021-09-27T13:44:34Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳(メタデータ) (2021-07-18T19:05:44Z) - Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without
Sharing Private Information [55.866673486753115]
プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。
提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
論文 参考訳(メタデータ) (2020-12-15T20:41:24Z) - Decentralised Learning from Independent Multi-Domain Labels for Person
Re-Identification [69.29602103582782]
ディープラーニングは多くのコンピュータビジョンタスクで成功している。
しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。
我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。
このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
論文 参考訳(メタデータ) (2020-06-07T13:32:33Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z) - Evaluation Framework For Large-scale Federated Learning [10.127616622630514]
フェデレーテッド・ラーニングは、携帯電話などの分散型エッジデバイスが協調して共有予測モデルを学習できるようにするための機械学習環境として提案されている。
本稿では,データセットとモジュール型評価フレームワークを生成するためのアプローチからなる,大規模フェデレーション学習のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-03T15:12:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。