論文の概要: Adversarial Representation Sharing: A Quantitative and Secure Collaborative Learning Framework

• arxiv url: http://arxiv.org/abs/2203.14299v1
• Date: Sun, 27 Mar 2022 13:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 17:23:00.706250
• Title: Adversarial Representation Sharing: A Quantitative and Secure Collaborative Learning Framework
• Title（参考訳）: 敵対的表現共有:定量的かつセキュアな協調学習フレームワーク
• Authors: Jikun Chen, Feng Qiang, Na Ruan
• Abstract要約: コミュニケーションのオーバーヘッドが低く,タスク依存度が低いため,共同学習において表現学習には独特なアドバンテージがあることがわかった。 ARSは、ユーザがモデルを訓練するためにデータの表現を共有する協調学習フレームワークである。 我々は,本機構がモデル逆攻撃に対して有効であることを実証し,プライバシとユーティリティのバランスを実現する。
• 参考スコア（独自算出の注目度）: 3.759936323189418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of deep learning models highly depends on the amount of training data. It is common practice for today's data holders to merge their datasets and train models collaboratively, which yet poses a threat to data privacy. Different from existing methods such as secure multi-party computation (MPC) and federated learning (FL), we find representation learning has unique advantages in collaborative learning due to the lower communication overhead and task-independency. However, data representations face the threat of model inversion attacks. In this article, we formally define the collaborative learning scenario, and quantify data utility and privacy. Then we present ARS, a collaborative learning framework wherein users share representations of data to train models, and add imperceptible adversarial noise to data representations against reconstruction or attribute extraction attacks. By evaluating ARS in different contexts, we demonstrate that our mechanism is effective against model inversion attacks, and achieves a balance between privacy and utility. The ARS framework has wide applicability. First, ARS is valid for various data types, not limited to images. Second, data representations shared by users can be utilized in different tasks. Third, the framework can be easily extended to the vertical data partitioning scenario.
• Abstract（参考訳）: ディープラーニングモデルの性能は、トレーニングデータの量に大きく依存します。 今日のデータ保有者がデータセットをマージし、モデルを協調的にトレーニングすることは、一般的なプラクティスである。 セキュアなマルチパーティ計算 (MPC) やフェデレーション学習 (FL) といった既存の手法と異なり, コミュニケーションオーバーヘッドの低減とタスク独立性のため, 協調学習において表現学習は独特な利点がある。 しかし、データ表現はモデル反転攻撃の脅威に直面している。 本稿では,協調学習シナリオを形式的に定義し,データユーティリティとプライバシを定量化する。 次に,モデル学習のためのデータ表現をユーザが共有し,再構成や属性抽出攻撃に対するデータ表現に不可避の逆ノイズを加える,協調学習フレームワークであるARSを提案する。 異なる文脈におけるarsを評価することにより,我々のメカニズムがモデル反転攻撃に対して有効であることを実証し,プライバシとユーティリティのバランスを実現する。 ARSフレームワークは幅広い適用性を持っている。 まず、ARSは様々なデータ型に対して有効であり、画像に限らない。 第二に、ユーザが共有するデータ表現は、異なるタスクで利用することができる。 第三に、フレームワークは垂直データパーティショニングシナリオに容易に拡張できます。

関連論文リスト

• Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
  ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。 従来の偽造検出手法は、データを直接集中的に訓練する。 本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:20:30Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
  本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。 この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
  論文  参考訳（メタデータ） (2023-03-31T10:13:01Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Information Stealing in Federated Learning Systems Based on Generative Adversarial Networks [0.5156484100374059]
  我々は,3つの異なるデータセットを用いて,連邦学習環境(FL)に敵対的攻撃を仕掛けた。 この攻撃は、GAN(Generative Adversarial Network)を利用して学習プロセスに影響を及ぼした。 対象者の実際のデータを,すべての適用データセットを用いて共有グローバルモデルパラメータから再構成した。
  論文  参考訳（メタデータ） (2021-08-02T08:12:43Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network [83.64416937454801]
  ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。 求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。 我々のモデルは求人マッチングの最先端手法より優れている。
  論文  参考訳（メタデータ） (2020-09-25T03:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。