論文の概要: On the Reconstruction of Training Data from Group Invariant Networks
- arxiv url: http://arxiv.org/abs/2411.16458v1
- Date: Mon, 25 Nov 2024 15:05:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:19:32.999781
- Title: On the Reconstruction of Training Data from Group Invariant Networks
- Title（参考訳）: グループ不変ネットワークからのトレーニングデータの再構築について
- Authors: Ran Elbaz, Gilad Yehudai, Meirav Galun, Haggai Maron,
- Abstract要約: トレーニングされたニューラルネットワークからトレーニングデータを再構築することは、プライバシと説明可能性に重要な意味を持つ研究の活発な領域である。
近年の進歩は、このプロセスが複数のデータタイプに対して実現可能であることを実証している。
しかし、グループ不変のニューラルネットワークからのデータ再構成は、ほとんど探索されていない別の課題を引き起こす。
- 参考スコア（独自算出の注目度）: 26.3215664733825
- License:
- Abstract: Reconstructing training data from trained neural networks is an active area of research with significant implications for privacy and explainability. Recent advances have demonstrated the feasibility of this process for several data types. However, reconstructing data from group-invariant neural networks poses distinct challenges that remain largely unexplored. This paper addresses this gap by first formulating the problem and discussing some of its basic properties. We then provide an experimental evaluation demonstrating that conventional reconstruction techniques are inadequate in this scenario. Specifically, we observe that the resulting data reconstructions gravitate toward symmetric inputs on which the group acts trivially, leading to poor-quality results. Finally, we propose two novel methods aiming to improve reconstruction in this setup and present promising preliminary experimental results. Our work sheds light on the complexities of reconstructing data from group invariant neural networks and offers potential avenues for future research in this domain.
- Abstract（参考訳）: トレーニングされたニューラルネットワークからトレーニングデータを再構築することは、プライバシと説明可能性に重要な意味を持つ研究の活発な領域である。
近年の進歩は、このプロセスが複数のデータタイプに対して実現可能であることを実証している。
しかし、グループ不変のニューラルネットワークからのデータ再構成は、ほとんど探索されていない別の課題を引き起こす。
本稿では,まずこの問題を定式化し,その基本的な性質について論じることにより,このギャップに対処する。
このシナリオでは,従来の再建手法が不十分であることを示す実験的な評価を行う。
具体的には、結果のデータ再構成は、群が自明に振る舞う対称的な入力に対してグラビテーションされ、質の悪い結果をもたらすことを観察する。
最後に, この構成の再構築をめざした2つの新しい手法を提案し, 有望な予備実験結果を示す。
我々の研究は、群不変ニューラルネットワークからのデータ再構成の複雑さに光を当て、この領域における将来の研究の道のりを提供する。
関連論文リスト
- A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文 参考訳（メタデータ） (2024-04-09T08:11:46Z) - Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-11-15T10:43:13Z) - Deconstructing Data Reconstruction: Multiclass, Weight Decay and General
Losses [28.203535970330343]
Haim et al. (2022) は多層パーセプトロンバイナリ分類器からトレーニングサンプルを再構成する手法を提案した。
我々は、多クラスニューラルネットワークや畳み込みニューラルネットワークからの再構成を含む、いくつかの方向で研究結果を拡張した。
本稿では,ネットワークのこのような再建計画への感受性に寄与する諸要因について検討する。
論文 参考訳（メタデータ） (2023-07-04T17:09:49Z) - Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳（メタデータ） (2023-02-20T19:33:38Z) - Understanding Reconstruction Attacks with the Neural Tangent Kernel and
Dataset Distillation [110.61853418925219]
我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。
理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。
これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
論文 参考訳（メタデータ） (2023-02-02T21:41:59Z) - Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。
本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:35:16Z) - The learning phases in NN: From Fitting the Majority to Fitting a Few [2.5991265608180396]
本研究では、学習中のパラメータの進化に基づいて、入力と予測性能の層再構成能力を分析する。
また、ResNetやVGGといったコンピュータビジョンから、共通のデータセットやアーキテクチャを用いて行動を評価する。
論文 参考訳（メタデータ） (2022-02-16T19:11:42Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A Dataset-Dispersion Perspective on Reconstruction Versus Recognition in
Single-View 3D Reconstruction Networks [16.348294592961327]
我々は、この先行要因を定量化し、そのNNへの影響を研究するために、新しいデータ駆動計量である分散スコアを導入する。
提案手法は, 従来の再建スコアに加えて, 復元品質を解析し, 新たな情報を提供する主要な方法であることを示す。
論文 参考訳（メタデータ） (2021-11-30T06:33:35Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。