論文の概要: Recovery of Training Data from Overparameterized Autoencoders: An Inverse Problem Perspective

• arxiv url: http://arxiv.org/abs/2310.02897v1
• Date: Wed, 4 Oct 2023 15:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:28:59.606470
• Title: Recovery of Training Data from Overparameterized Autoencoders: An Inverse Problem Perspective
• Title（参考訳）: 過パラメータオートエンコーダによるトレーニングデータの回復:逆問題の観点から
• Authors: Koren Abitbul, Yehuda Dar
• Abstract要約: 劣化したトレーニングサンプルが与えられた場合、元のサンプルの回収を逆問題として定義する。 逆問題では、トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。 複雑な最適化タスクを、訓練されたオートエンコーダと、未知の劣化演算子を推定し、対処する比較的単純な計算を反復的に適用する実用的な方法として開発する。
• 参考スコア（独自算出の注目度）: 1.8583319788214916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the recovery of training data from overparameterized autoencoder models. Given a degraded training sample, we define the recovery of the original sample as an inverse problem and formulate it as an optimization task. In our inverse problem, we use the trained autoencoder to implicitly define a regularizer for the particular training dataset that we aim to retrieve from. We develop the intricate optimization task into a practical method that iteratively applies the trained autoencoder and relatively simple computations that estimate and address the unknown degradation operator. We evaluate our method for blind inpainting where the goal is to recover training images from degradation of many missing pixels in an unknown pattern. We examine various deep autoencoder architectures, such as fully connected and U-Net (with various nonlinearities and at diverse train loss values), and show that our method significantly outperforms previous methods for training data recovery from autoencoders. Importantly, our method greatly improves the recovery performance also in settings that were previously considered highly challenging, and even impractical, for such retrieval.
• Abstract（参考訳）: オーバーパラメータ化オートエンコーダモデルによるトレーニングデータの回復について検討する。 劣化したトレーニングサンプルが与えられた場合、元のサンプルの回収を逆問題として定義し、最適化タスクとして定式化する。 逆問題では、トレーニングされたautoencoderを使用して、我々が取得しようとしている特定のトレーニングデータセットの正規化子を暗黙的に定義します。 複雑な最適化タスクを、訓練されたオートエンコーダと、未知の分解演算子を推定して対処する比較的単純な計算を反復的に適用する実用的な手法に発展させる。 そこで我々は,未知のパターンの多くの欠落画素の劣化からトレーニング画像の復元を目標とするブラインド塗装の評価を行った。 本手法は,完全接続やu-net (非線形性や列車損失値の多様さ) など,様々な深層オートエンコーダアーキテクチャを検証した結果,従来のオートエンコーダからのデータのリカバリトレーニング手法を大きく上回ることを示す。 重要となるのは,従来は難易度が高く,かつ非実用的であった設定でも,回復性能が大幅に向上する点である。

関連論文リスト

• Data Attribution for Text-to-Image Models by Unlearning Synthesized Images [71.23012718682634]
  テキスト・ツー・イメージ・モデルにおけるデータ帰属の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することである。 本稿では,高能率画像の同定を効果的に行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:44Z)
• Autoencoder Based Face Verification System [0.0]
  この研究の主な目的は、ラベル付きデータへの依存を減らすことを目的とした代替アプローチを提案することである。 提案手法では,顔画像認識タスク内でのオートエンコーダの事前学習を2段階のプロセスで行う。 実験により、事前訓練されたオートエンコーダパラメータでディープニューラルネットワークを初期化することにより、最先端の手法に匹敵する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-21T21:18:53Z)
• Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
  地上からの太陽画像の復元は計算に費用がかかる手続きである。 本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。 両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
  論文  参考訳（メタデータ） (2023-06-21T07:53:00Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Training Stacked Denoising Autoencoders for Representation Learning [0.0]
  高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。 本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
  論文  参考訳（メタデータ） (2021-02-16T08:18:22Z)
• EEC: Learning to Encode and Regenerate Images for Continual Learning [9.89901717499058]
  Neural Style Transferで自動エンコーダをトレーニングし、画像をエンコードおよび保存します。 エンコードされたエピソードの再構成画像は 破滅的な忘れ物を避けるために 再生される。 本手法は,ベンチマークデータセットにおける最先端手法よりも分類精度を13～17%向上させる。
  論文  参考訳（メタデータ） (2021-01-13T06:43:10Z)
• Storing Encoded Episodes as Concepts for Continual Learning [22.387008072671005]
  継続的な学習アプローチで直面する2つの大きな課題は、データの保存における破滅的な忘れとメモリ制限である。 本稿では,ニューラルスタイルトランスファーを用いたオートエンコーダを訓練し,画像のエンコードと保存を行う,認知にインスパイアされたアプローチを提案する。 ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。
  論文  参考訳（メタデータ） (2020-06-26T04:15:56Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。