論文の概要: See through Gradients: Image Batch Recovery via GradInversion

• arxiv url: http://arxiv.org/abs/2104.07586v1
• Date: Thu, 15 Apr 2021 16:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:10:44.404530
• Title: See through Gradients: Image Batch Recovery via GradInversion
• Title（参考訳）: see through gradients: gradinversionによる画像バッチリカバリ
• Authors: Hongxu Yin, Arun Mallya, Arash Vahdat, Jose M. Alvarez, Jan Kautz, Pavlo Molchanov
• Abstract要約: 我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。 複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
• 参考スコア（独自算出の注目度）: 103.26922860665039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks requires gradient estimation from data batches to update parameters. Gradients per parameter are averaged over a set of data and this has been presumed to be safe for privacy-preserving training in joint, collaborative, and federated learning applications. Prior work only showed the possibility of recovering input data given gradients under very restrictive conditions - a single input point, or a network with no non-linearities, or a small 32x32 px input batch. Therefore, averaging gradients over larger batches was thought to be safe. In this work, we introduce GradInversion, using which input images from a larger batch (8 - 48 images) can also be recovered for large networks such as ResNets (50 layers), on complex datasets such as ImageNet (1000 classes, 224x224 px). We formulate an optimization task that converts random noise into natural images, matching gradients while regularizing image fidelity. We also propose an algorithm for target class label recovery given gradients. We further propose a group consistency regularization framework, where multiple agents starting from different random seeds work together to find an enhanced reconstruction of original data batch. We show that gradients encode a surprisingly large amount of information, such that all the individual images can be recovered with high fidelity via GradInversion, even for complex datasets, deep networks, and large batch sizes.
• Abstract（参考訳）: 深層ニューラルネットワークのトレーニングには、パラメータを更新するためにデータバッチからの勾配推定が必要である。 パラメータごとのグラディエントは、一連のデータに対して平均化されており、これは共同で協調し、フェデレートされた学習アプリケーションにおけるプライバシー保護トレーニングにとって安全であると推定されている。 以前の作業では、非常に制限のある条件(単一入力ポイント、非線形でないネットワーク、32x32 px入力バッチ)で入力データを回復する可能性を示しただけだった。 したがって, より大きなバッチに対する平均勾配は安全であると考えられた。 本研究では,イメージネット(1000クラス,224x224 px)のような複雑なデータセット上で,大規模なバッチ(8～48イメージ)からの入力イメージをResNets(50層)などの大規模ネットワークでも復元できるGradInversionを紹介する。 画像の忠実度を正則化しながら,ランダムノイズを自然な画像に変換する最適化タスクを定式化する。 また,クラスラベルリカバリのグラデーションを目標としたアルゴリズムを提案する。 さらに,ランダムな種から開始する複数のエージェントが連携して,元のデータバッチの再構築が強化されたグループ一貫性正規化フレームワークを提案する。 複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。

関連論文リスト

• SPEAR:Exact Gradient Inversion of Batches in Federated Learning [11.799563040751591]
  フェデレーション・ラーニング(Federated Learning)は、クライアントがサーバとプライベートデータを共有するのではなく、勾配更新のみを共有する機械学習のフレームワークである。 本研究では,バッチ全体を正確に$b > 1$で再構築する最初のアルゴリズムであるSPEARを提案する。 我々は,大規模ネットワークへのスケーリング中に,最大$b以下の25ドルのバッチで高次元イメージネット入力を復元することを示す。
  論文  参考訳（メタデータ） (2024-03-06T18:52:39Z)
• AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
  本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。 これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
  論文  参考訳（メタデータ） (2023-10-15T05:15:45Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Deep leakage from gradients [0.0]
  フェデレートラーニング(FL)モデルは、その高効率性と機密性のために多くの業界で広く利用されている。 一部の研究者は機密性を調査し、トレーニングデータセットを攻撃するアルゴリズムを設計した。 本稿では,勾配特徴量に基づくアルゴリズムを,フェデレート学習モデルに対する攻撃として設計する。
  論文  参考訳（メタデータ） (2022-12-15T08:06:46Z)
• Deep Generalized Unfolding Networks for Image Restoration [16.943609020362395]
  画像復元のためのDeep Generalized Unfolding Network (DGUNet)を提案する。 我々は、勾配推定戦略をPGDアルゴリズムの勾配降下ステップに統合する。 我々の手法は、最先端の性能、解釈可能性、一般化可能性の点で優れている。
  論文  参考訳（メタデータ） (2022-04-28T08:39:39Z)
• Feature transforms for image data augmentation [74.12025519234153]
  画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。 本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。 事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2022-01-24T14:12:29Z)
• Deep Amended Gradient Descent for Efficient Spectral Reconstruction from Single RGB Images [42.26124628784883]
  本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。 まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。 AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-12T05:54:09Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• A deep primal-dual proximal network for image restoration [8.797434238081372]
  我々は、プリミティブ・デュアル・イテレーションから構築されたディープPDNetというディープネットワークを設計し、前もって分析を行い、標準的なペナル化可能性の最小化を図った。 フルラーニング」と「パートラーニング」の2つの異なる学習戦略が提案され、第1は最も効率的な数値である。 以上の結果から,提案したDeepPDNetは,MNISTと,より複雑なBSD68,BSD100,SET14データセットにおいて,画像復元と単一画像超解像処理に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-02T08:29:52Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。