論文の概要: Multiple Classification with Split Learning
- arxiv url: http://arxiv.org/abs/2008.09874v3
- Date: Fri, 11 Sep 2020 05:18:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 07:46:01.937960
- Title: Multiple Classification with Split Learning
- Title（参考訳）: 分割学習による複数分類
- Authors: Jongwon Kim, Sungho Shin, Yeonguk Yu, Junseok Lee, Kyoobin Lee
- Abstract要約: プライバシー問題は、医療、移動、その他の分野でディープラーニングを訓練する過程で提起された。
本稿では,クライアントが直接露出することなくさまざまなデータを学習できる,プライバシー保護型分散ディープラーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 6.431011847952005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy issues were raised in the process of training deep learning in
medical, mobility, and other fields. To solve this problem, we present
privacy-preserving distributed deep learning method that allow clients to learn
a variety of data without direct exposure. We divided a single deep learning
architecture into a common extractor, a cloud model and a local classifier for
the distributed learning. First, the common extractor, which is used by local
clients, extracts secure features from the input data. The secure features also
take the role that the cloud model can employ various task and diverse types of
data. The feature contain the most important information that helps to proceed
various task. Second, the cloud model including most parts of the whole
training model gets the embedded features from the massive local clients, and
performs most of deep learning operations which takes severe computing cost.
After the operations in cloud model finished, outputs of the cloud model send
back to local clients. Finally, the local classifier determined classification
results and delivers the results to local clients. When clients train models,
our model does not directly expose sensitive information to exterior network.
During the test, the average performance improvement was 2.63% over the
existing local training model. However, in a distributed environment, there is
a possibility of inversion attack due to exposed features. For this reason, we
experimented with the common extractor to prevent data restoration. The quality
of restoration of the original image was tested by adjusting the depth of the
common extractor. As a result, we found that the deeper the common extractor,
the restoration score decreased to 89.74.
- Abstract（参考訳）: プライバシー問題は、医学、モビリティ、その他の分野でディープラーニングをトレーニングする過程で提起された。
この問題を解決するために、クライアントが直接露出することなく様々なデータを学習できるプライバシー保護分散ディープラーニング手法を提案する。
我々は,1つのディープラーニングアーキテクチャを共通抽出器,クラウドモデル,分散学習のためのローカル分類器に分割した。
まず、ローカルクライアントが使用する共通抽出器は、入力データからセキュアな特徴を抽出する。
セキュアな機能は、クラウドモデルがさまざまなタスクとさまざまなタイプのデータを使用することができる役割も担っている。
この機能は、様々なタスクを進めるのに役立つ最も重要な情報を含んでいる。
第二に、トレーニングモデルのほとんどの部分を含むクラウドモデルは、巨大なローカルクライアントから組み込み機能を取得し、厳しいコンピューティングコストを必要とするディープラーニング操作のほとんどを実行する。
クラウドモデルの運用が終了すると、クラウドモデルの出力がローカルクライアントに送信される。
最後に、ローカル分類器が分類結果を決定し、その結果をローカルクライアントに配信する。
クライアントがモデルをトレーニングするとき、我々のモデルは外部ネットワークに直接機密情報を公開しません。
テスト中、既存のローカルトレーニングモデルと比較して平均パフォーマンスが2.63%向上した。
しかし、分散環境では、露出した特徴による逆攻撃の可能性がある。
このため,データ復元を防止すべく共通抽出器を実験した。
共通抽出器の深さを調整して原画像の復元の質を検証した。
その結果, 一般抽出器の深部では, 修復スコアが89.74に低下した。
関連論文リスト
- Accurate Forgetting for All-in-One Image Restoration Model [3.367455972998532]
現在、Machine Unlearningと呼ばれる低価格のスキームは、モデルに記憶されているプライベートデータを忘れている。
このことから,画像復元とセキュリティのギャップを埋めるために,この概念を応用しようと試みている。
論文 参考訳（メタデータ） (2024-09-01T10:14:16Z) - Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - PointMoment:Mixed-Moment-based Self-Supervised Representation Learning
for 3D Point Clouds [11.980787751027872]
我々は,ポイントクラウドによる自己教師型表現学習のための新しいフレームワークであるPointMomentを提案する。
我々のフレームワークは、非対称ネットワークアーキテクチャや勾配停止など特別な技術を必要としない。
論文 参考訳（メタデータ） (2023-12-06T08:49:55Z) - Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud
Analysis [74.00441177577295]
ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。
本稿では,軽量点雲モデルのための特徴蒸留について検討する。
本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
論文 参考訳（メタデータ） (2023-10-08T11:32:50Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - FedHP: Heterogeneous Federated Learning with Privacy-preserving [0.0]
フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。
本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。
勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
論文 参考訳（メタデータ） (2023-01-27T13:32:17Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。
本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。
実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文 参考訳（メタデータ） (2021-11-05T14:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。