論文の概要: Efficient Techniques for Data Reconstruction, with Finite-Width Recovery Guarantees
- arxiv url: http://arxiv.org/abs/2605.06519v1
- Date: Thu, 07 May 2026 16:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.994107
- Title: Efficient Techniques for Data Reconstruction, with Finite-Width Recovery Guarantees
- Title(参考訳): 有限幅復元保証を用いたデータ再構成の効率化
- Authors: Edward Tansley, Roy Makhlouf, Estelle Massart, Coralia Cartis,
- Abstract要約: トレーニングされたニューラルネットワークに対するデータ再構成攻撃は、ネットワークがトレーニングされたデータを回復することを目的としている。
本稿では,初期および訓練されたパラメータ値に基づいて,データ再構成問題の統一的な最適化法を提案する。
ランダムな特徴モデルにおいて、この定式化は、高い確率でトレーニングデータ再構成につながることを示す。
- 参考スコア(独自算出の注目度): 0.11666234644810893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data reconstruction attacks on trained neural networks aim to recover the data on which the network has been trained and pose a significant threat to privacy, especially if the training dataset contains sensitive information. Here, we propose a unified optimization formulation of the data reconstruction problem based on initial and trained parameter values, incorporating state-of-the-art proposals. We show that in the random feature model, this formulation provably leads to training data reconstruction with high probability, provided the network width is sufficiently large; this unprecedented finite-width result uses PAC-style bounds. Furthermore, when the data lies in a low-dimensional subspace, we show that the network width requirement for successful reconstruction can be relaxed, with bounds depending on the subspace dimension rather than the ambient dimension. For general neural network models and unknown data orientations, we propose an efficient reconstruction algorithm that approximates the low-dimensional data subspace through the change in the first-layer weights during training and uses only the last-layer weights for reconstruction, thus reducing the search space dimension and the required network width for high-quality reconstructions. Our numerical experiments on synthetic datasets and CIFAR-10 confirm that our subspace-aware reconstruction approach outperforms standard full-space techniques.
- Abstract(参考訳): トレーニングされたニューラルネットワークに対するデータ再構成攻撃は、ネットワークがトレーニングされたデータを回復し、特にトレーニングデータセットに機密情報が含まれている場合、プライバシに重大な脅威をもたらすことを目的としている。
本稿では、初期および訓練されたパラメータ値に基づいて、データ再構成問題の統一的な最適化法を提案し、最先端の提案を取り入れた。
ランダムな特徴モデルでは、ネットワーク幅が十分に大きい場合、この定式化によって高い確率でトレーニングデータ再構成が実現可能であることを示し、この前例のない有限幅結果はPACスタイルのバウンダリを用いている。
さらに,低次元部分空間にデータを置くと,ネットワーク幅の要求を緩和できることを示す。
一般のニューラルネットワークモデルと未知のデータ配向に対しては,トレーニング中の第1層重みの変化によって低次元データ部分空間を近似し,最終層重みのみを用いて再構成を行う効率的な再構成アルゴリズムを提案する。
合成データセットとCIFAR-10の数値実験により、我々の部分空間認識再構成手法が標準のフルスペース技術より優れていることを確認した。
関連論文リスト
- Revisiting the Privacy Risks of Split Inference: A GAN-Based Data Reconstruction Attack via Progressive Feature Optimization [49.32786615205064]
Split Inference (SI)は、エッジデバイスとクラウドの間の計算を分割することで、レイテンシを低減し、ユーザのプライバシを保護する。
データ再構成攻撃(DRA)の最近の進歩は、SIで交換された中間的特徴を利用して機密入力データを復元できることを明らかにしている。
既存のDRAは一般的に浅いモデルにのみ有効であり、セマンティックな事前を十分に活用できない。
本稿では,プログレッシブ・フィーチャー・オプティマイゼーション(PFO)を用いた新しいGANベースのDRAフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-28T10:00:39Z) - Dual-branch Graph Feature Learning for NLOS Imaging [51.31554007495926]
非視線イメージング(NLOS)は、直接見えない閉塞されたシーンを明らかにする機能を提供する。
xnet法は、アルベド情報回復に特化したアルベド中心の再構築ブランチと、幾何学的構造を抽出する深さ中心の再構築ブランチを統合する。
提案手法は,合成データと実データの間で,既存の手法の中で最も高い性能を実現する。
論文 参考訳(メタデータ) (2025-02-27T01:49:00Z) - Re-Visible Dual-Domain Self-Supervised Deep Unfolding Network for MRI Reconstruction [48.30341580103962]
本稿では、これらの問題に対処するために、新しい再視覚的二重ドメイン自己教師型深層展開ネットワークを提案する。
エンド・ツー・エンドの再構築を実現するために,シャンブルとポック・プロキシ・ポイント・アルゴリズム(DUN-CP-PPA)に基づく深層展開ネットワークを設計する。
高速MRIおよびIXIデータセットを用いて行った実験により,本手法は再建性能において最先端の手法よりも有意に優れていることが示された。
論文 参考訳(メタデータ) (2025-01-07T12:29:32Z) - SeisFusion: Constrained Diffusion Model with Input Guidance for 3D Seismic Data Interpolation and Reconstruction [26.02191880837226]
本研究では3次元地震データに適した新しい拡散モデル再構成フレームワークを提案する。
拡散モデルに3次元ニューラルネットワークアーキテクチャを導入し、2次元拡散モデルを3次元空間に拡張することに成功した。
本手法は、フィールドデータセットと合成データセットの両方に適用した場合、より優れた再構成精度を示す。
論文 参考訳(メタデータ) (2024-03-18T05:10:13Z) - SST-ReversibleNet: Reversible-prior-based Spectral-Spatial Transformer
for Efficient Hyperspectral Image Reconstruction [15.233185887461826]
Reversible-prior-based methodと呼ばれる新しいフレームワークが提案されている。
ReversibleNetは、シミュレートされた実HSIデータセットの最先端メソッドよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-05-06T14:01:02Z) - Understanding Reconstruction Attacks with the Neural Tangent Kernel and
Dataset Distillation [110.61853418925219]
我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。
理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。
これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
論文 参考訳(メタデータ) (2023-02-02T21:41:59Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - Deep Manifold Prior [37.725563645899584]
本稿では,3次元形状の表面などの多様体構造データに先行する手法を提案する。
この方法で生成された曲面は滑らかであり、ガウス過程を特徴とする制限的な挙動を示し、完全連結および畳み込みネットワークに対して数学的にそのような特性を導出する。
論文 参考訳(メタデータ) (2020-04-08T20:47:56Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。