論文の概要: DAGER: Exact Gradient Inversion for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15586v2
• Date: Wed, 13 Nov 2024 08:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 19:24:45.289150
• Title: DAGER: Exact Gradient Inversion for Large Language Models
• Title（参考訳）: DAGER: 大規模言語モデルのための厳密なグラディエント・インバージョン
• Authors: Ivo Petrov, Dimitar I. Dimitrov, Maximilian Baader, Mark Niklas Müller, Martin Vechev,
• Abstract要約: フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。 これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。 入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
• 参考スコア（独自算出の注目度）: 10.998375857698496
• License:
• Abstract: Federated learning works by aggregating locally computed gradients from multiple clients, thus enabling collaborative training without sharing private client data. However, prior work has shown that the data can actually be recovered by the server using so-called gradient inversion attacks. While these attacks perform well when applied on images, they are limited in the text domain and only permit approximate reconstruction of small batches and short input sequences. In this work, we propose DAGER, the first algorithm to recover whole batches of input text exactly. DAGER leverages the low-rank structure of self-attention layer gradients and the discrete nature of token embeddings to efficiently check if a given token sequence is part of the client data. We use this check to exactly recover full batches in the honest-but-curious setting without any prior on the data for both encoder- and decoder-based architectures using exhaustive heuristic search and a greedy approach, respectively. We provide an efficient GPU implementation of DAGER and show experimentally that it recovers full batches of size up to 128 on large language models (LLMs), beating prior attacks in speed (20x at same batch size), scalability (10x larger batches), and reconstruction quality (ROUGE-1/2 > 0.99).
• Abstract（参考訳）: フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで、プライベートクライアントデータを共有せずに協調的なトレーニングを可能にする。 しかし、以前の研究によると、このデータは、いわゆるグラディエント・インバージョン・アタックを使って、サーバによって実際に回収できる。 これらの攻撃は画像に適用すると良好に動作するが、テキスト領域では制限されており、小さなバッチと短い入力シーケンスの近似的な再構築しか許されていない。 本研究では,入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。 DAGERは、自己アテンション層勾配の低ランク構造とトークン埋め込みの離散性を利用して、所定のトークンシーケンスがクライアントデータの一部であるかどうかを効率的にチェックする。 このチェックは、徹底的なヒューリスティック検索とグリージーアプローチを用いて、エンコーダとデコーダベースのアーキテクチャの両方のデータに先行せずに、誠実だが正確な設定で完全なバッチを正確に復元する。 我々は,DAGERのGPU実装を効率化し,大規模言語モデル(LLM)で最大128のバッチを回復し,前回の攻撃(同じバッチサイズで20倍),スケーラビリティ(10倍),再構築品質(ROUGE-1/2 > 0.99)を達成できることを実験的に示す。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Privacy-Preserving Logistic Regression Training on Large Datasets [0.0]
  我々は,同型暗号化(HE)を用いた大規模暗号化データに対するロジスティック回帰学習のための効率的なアルゴリズムを提案する。 また、データセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
  論文  参考訳（メタデータ） (2024-06-19T05:19:20Z)
• SPEAR:Exact Gradient Inversion of Batches in Federated Learning [11.799563040751591]
  フェデレーション・ラーニング(Federated Learning)は、クライアントがサーバとプライベートデータを共有するのではなく、勾配更新のみを共有する機械学習のフレームワークである。 本研究では,バッチ全体を正確に$b > 1$で再構築する最初のアルゴリズムであるSPEARを提案する。 我々は,大規模ネットワークへのスケーリング中に,最大$b以下の25ドルのバッチで高次元イメージネット入力を復元することを示す。
  論文  参考訳（メタデータ） (2024-03-06T18:52:39Z)
• Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning [12.709670487307294]
  フェデレートラーニング(FL)は、プライバシーを守るためにクライアントデータをローカルに保つことを目的としている。 既存のFLアプローチの多くは、非現実的に小さなバッチサイズでFL設定を仮定している。 本稿では,クライアントの入力データを再構築するための,新しい,完全に解析的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-30T02:01:48Z)
• LOKI: Large-scale Data Reconstruction Attack against Federated Learning through Model Manipulation [25.03733882637947]
  従来の制限を克服し,アグリゲーションの匿名性を破る攻撃であるLOKIを導入する。 FedAVGと100のクライアントの集約により、以前の作業はMNIST、CIFAR-100、Tiny ImageNetのイメージの1%未満をリークすることができる。 LOKIは1回のトレーニングラウンドのみを使用して、すべてのデータサンプルの76～86%をリークすることができる。
  論文  参考訳（メタデータ） (2023-03-21T23:29:35Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
  我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。 複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
  論文  参考訳（メタデータ） (2021-04-15T16:43:17Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。