論文の概要: How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation
- arxiv url: http://arxiv.org/abs/2310.02897v2
- Date: Thu, 13 Jun 2024 15:13:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-15 02:19:21.573561
- Title: How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation
- Title（参考訳）: 過度パラメータ化オートエンコーダにおけるトレーニングデータの記憶量 : メモリ化評価における逆問題
- Authors: Koren Abitbul, Yehuda Dar,
- Abstract要約: 本稿では,暗記研究のための逆問題視点を提案する。
トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。
提案手法は,オートエンコーダからトレーニングデータを復元する過去の記憶・評価手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.573034584191491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overparameterized autoencoder models often memorize their training data. For image data, memorization is often examined by using the trained autoencoder to recover missing regions in its training images (that were used only in their complete forms in the training). In this paper, we propose an inverse problem perspective for the study of memorization. Given a degraded training image, we define the recovery of the original training image as an inverse problem and formulate it as an optimization task. In our inverse problem, we use the trained autoencoder to implicitly define a regularizer for the particular training dataset that we aim to retrieve from. We develop the intricate optimization task into a practical method that iteratively applies the trained autoencoder and relatively simple computations that estimate and address the unknown degradation operator. We evaluate our method for blind inpainting where the goal is to recover training images from degradation of many missing pixels in an unknown pattern. We examine various deep autoencoder architectures, such as fully connected and U-Net (with various nonlinearities and at diverse train loss values), and show that our method significantly outperforms previous memorization-evaluation methods that recover training data from autoencoders. Importantly, our method greatly improves the recovery performance also in settings that were previously considered highly challenging, and even impractical, for such recovery and memorization evaluation.
- Abstract（参考訳）: 過パラメータ化されたオートエンコーダモデルは、しばしばトレーニングデータを記憶する。
画像データについては、トレーニング済みのオートエンコーダを用いて、トレーニングイメージの欠落した領域(トレーニングでのみ使用される)を復元する。
本稿では,記憶研究のための逆問題視点を提案する。
劣化したトレーニングイメージが与えられた場合、元のトレーニングイメージの回復を逆問題として定義し、最適化タスクとして定式化する。
逆問題では、トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。
複雑な最適化タスクを、訓練されたオートエンコーダと、未知の劣化演算子を推定し、対処する比較的単純な計算を反復的に適用する実用的な方法として開発する。
そこで我々は,未知のパターンで多くの失明画素の劣化からトレーニング画像の復元を目標とするブラインドインペイント法の評価を行った。
完全接続やU-Net(非線形性や列車損失値の多種多様)などの深層オートエンコーダアーキテクチャについて検討し,本手法がオートエンコーダからトレーニングデータを復元する過去の記憶・評価手法を著しく上回っていることを示す。
重要なこととして,本手法は,従来は非常に難易度が高く,かつ非現実的と考えられていた環境においても,そのような回復および記憶評価のために,回復性能を大幅に向上させる。
関連論文リスト
- Data Attribution for Text-to-Image Models by Unlearning Synthesized Images [71.23012718682634]
テキスト・ツー・イメージ・モデルにおけるデータ帰属の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することである。
本稿では,高能率画像の同定を効果的に行う新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T17:59:44Z) - Autoencoder Based Face Verification System [0.0]
この研究の主な目的は、ラベル付きデータへの依存を減らすことを目的とした代替アプローチを提案することである。
提案手法では,顔画像認識タスク内でのオートエンコーダの事前学習を2段階のプロセスで行う。
実験により、事前訓練されたオートエンコーダパラメータでディープニューラルネットワークを初期化することにより、最先端の手法に匹敵する結果が得られることが示された。
論文 参考訳（メタデータ） (2023-12-21T21:18:53Z) - Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
地上からの太陽画像の復元は計算に費用がかかる手続きである。
本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。
両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
論文 参考訳（メタデータ） (2023-06-21T07:53:00Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳（メタデータ） (2023-04-06T22:16:53Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳（メタデータ） (2021-11-23T15:08:26Z) - Training Stacked Denoising Autoencoders for Representation Learning [0.0]
高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。
本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
論文 参考訳（メタデータ） (2021-02-16T08:18:22Z) - EEC: Learning to Encode and Regenerate Images for Continual Learning [9.89901717499058]
Neural Style Transferで自動エンコーダをトレーニングし、画像をエンコードおよび保存します。
エンコードされたエピソードの再構成画像は 破滅的な忘れ物を避けるために 再生される。
本手法は,ベンチマークデータセットにおける最先端手法よりも分類精度を13～17%向上させる。
論文 参考訳（メタデータ） (2021-01-13T06:43:10Z) - Storing Encoded Episodes as Concepts for Continual Learning [22.387008072671005]
継続的な学習アプローチで直面する2つの大きな課題は、データの保存における破滅的な忘れとメモリ制限である。
本稿では,ニューラルスタイルトランスファーを用いたオートエンコーダを訓練し,画像のエンコードと保存を行う,認知にインスパイアされたアプローチを提案する。
ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。
論文 参考訳（メタデータ） (2020-06-26T04:15:56Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳（メタデータ） (2020-06-04T08:59:17Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳（メタデータ） (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。