論文の概要: Recovery of Training Data from Overparameterized Autoencoders: An
Inverse Problem Perspective
- arxiv url: http://arxiv.org/abs/2310.02897v1
- Date: Wed, 4 Oct 2023 15:36:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 14:28:59.606470
- Title: Recovery of Training Data from Overparameterized Autoencoders: An
Inverse Problem Perspective
- Title(参考訳): 過パラメータオートエンコーダによるトレーニングデータの回復:逆問題の観点から
- Authors: Koren Abitbul, Yehuda Dar
- Abstract要約: 劣化したトレーニングサンプルが与えられた場合、元のサンプルの回収を逆問題として定義する。
逆問題では、トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。
複雑な最適化タスクを、訓練されたオートエンコーダと、未知の劣化演算子を推定し、対処する比較的単純な計算を反復的に適用する実用的な方法として開発する。
- 参考スコア(独自算出の注目度): 1.8583319788214916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the recovery of training data from overparameterized autoencoder
models. Given a degraded training sample, we define the recovery of the
original sample as an inverse problem and formulate it as an optimization task.
In our inverse problem, we use the trained autoencoder to implicitly define a
regularizer for the particular training dataset that we aim to retrieve from.
We develop the intricate optimization task into a practical method that
iteratively applies the trained autoencoder and relatively simple computations
that estimate and address the unknown degradation operator. We evaluate our
method for blind inpainting where the goal is to recover training images from
degradation of many missing pixels in an unknown pattern. We examine various
deep autoencoder architectures, such as fully connected and U-Net (with various
nonlinearities and at diverse train loss values), and show that our method
significantly outperforms previous methods for training data recovery from
autoencoders. Importantly, our method greatly improves the recovery performance
also in settings that were previously considered highly challenging, and even
impractical, for such retrieval.
- Abstract(参考訳): オーバーパラメータ化オートエンコーダモデルによるトレーニングデータの回復について検討する。
劣化したトレーニングサンプルが与えられた場合、元のサンプルの回収を逆問題として定義し、最適化タスクとして定式化する。
逆問題では、トレーニングされたautoencoderを使用して、我々が取得しようとしている特定のトレーニングデータセットの正規化子を暗黙的に定義します。
複雑な最適化タスクを、訓練されたオートエンコーダと、未知の分解演算子を推定して対処する比較的単純な計算を反復的に適用する実用的な手法に発展させる。
そこで我々は,未知のパターンの多くの欠落画素の劣化からトレーニング画像の復元を目標とするブラインド塗装の評価を行った。
本手法は,完全接続やu-net (非線形性や列車損失値の多様さ) など,様々な深層オートエンコーダアーキテクチャを検証した結果,従来のオートエンコーダからのデータのリカバリトレーニング手法を大きく上回ることを示す。
重要となるのは,従来は難易度が高く,かつ非実用的であった設定でも,回復性能が大幅に向上する点である。
関連論文リスト
- Autoencoder Based Face Verification System [0.0]
この研究の主な目的は、ラベル付きデータへの依存を減らすことを目的とした代替アプローチを提案することである。
提案手法では,顔画像認識タスク内でのオートエンコーダの事前学習を2段階のプロセスで行う。
実験により、事前訓練されたオートエンコーダパラメータでディープニューラルネットワークを初期化することにより、最先端の手法に匹敵する結果が得られることが示された。
論文 参考訳(メタデータ) (2023-12-21T21:18:53Z) - Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
地上からの太陽画像の復元は計算に費用がかかる手続きである。
本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。
両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
論文 参考訳(メタデータ) (2023-06-21T07:53:00Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳(メタデータ) (2023-04-06T22:16:53Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳(メタデータ) (2022-12-07T15:32:22Z) - Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳(メタデータ) (2022-02-26T17:32:57Z) - Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。
提案手法は,特にショットや微調整の設定において有効であることを示す。
論文 参考訳(メタデータ) (2021-05-02T07:33:16Z) - Training Stacked Denoising Autoencoders for Representation Learning [0.0]
高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。
本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
論文 参考訳(メタデータ) (2021-02-16T08:18:22Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳(メタデータ) (2020-06-04T08:59:17Z) - Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。
非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。
スパースCTでは数値的な結果が得られた。
論文 参考訳(メタデータ) (2020-04-20T18:43:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。