論文の概要: Reducing Training Sample Memorization in GANs by Training with Memorization Rejection

• arxiv url: http://arxiv.org/abs/2210.12231v1
• Date: Fri, 21 Oct 2022 20:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:06:00.340654
• Title: Reducing Training Sample Memorization in GANs by Training with Memorization Rejection
• Title（参考訳）: 記憶消失訓練によるGANのトレーニングサンプル記憶の低減
• Authors: Andrew Bai, Cho-Jui Hsieh, Wendy Kan, Hsuan-Tien Lin
• Abstract要約: 本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
• 参考スコア（独自算出の注目度）: 80.0916819303573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative adversarial network (GAN) continues to be a popular research direction due to its high generation quality. It is observed that many state-of-the-art GANs generate samples that are more similar to the training set than a holdout testing set from the same distribution, hinting some training samples are implicitly memorized in these models. This memorization behavior is unfavorable in many applications that demand the generated samples to be sufficiently distinct from known samples. Nevertheless, it is unclear whether it is possible to reduce memorization without compromising the generation quality. In this paper, we propose memorization rejection, a training scheme that rejects generated samples that are near-duplicates of training samples during training. Our scheme is simple, generic and can be directly applied to any GAN architecture. Experiments on multiple datasets and GAN models validate that memorization rejection effectively reduces training sample memorization, and in many cases does not sacrifice the generation quality. Code to reproduce the experiment results can be found at $\texttt{https://github.com/jybai/MRGAN}$.
• Abstract（参考訳）: generative adversarial network (gan) は、高世代品質のため、依然として一般的な研究の方向性である。 多くの最先端のGANは、同じ分布からのホールトアウトテストセットよりもトレーニングセットに近いサンプルを生成し、これらのモデルで暗黙的に記憶されていることを示唆している。 この記憶挙動は、生成されたサンプルを既知のサンプルと十分に区別するよう要求する多くのアプリケーションでは好ましくない。 しかし, 生成品質を損なうことなく, 暗記を低減できるかどうかは不明である。 本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法である記憶拒絶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。 複数のデータセットとGANモデルの実験では、記憶の拒絶はトレーニングサンプルの記憶を効果的に減らし、多くの場合、生成品質を犠牲にしない。 実験結果を再現するコードは$\texttt{https://github.com/jybai/mrgan}$で見ることができる。

関連論文リスト

• The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization [15.348047288817478]
  大規模言語モデル(LLM)の核サンプリング時のテキスト記憶挙動を解析した。 核の大きさが大きくなると、記憶力は緩やかに低下する。 モデルが"ハード"メモリ化に関与していない場合でも、"ソフト"メモリ化を表示できる。
  論文  参考訳（メタデータ） (2024-08-29T08:30:33Z)
• Detection of Under-represented Samples Using Dynamic Batch Training for Brain Tumor Segmentation from MR Images [0.8437187555622164]
  磁気共鳴イメージング(MR)における脳腫瘍は困難であり、時間を要する。 これらの課題は、MR画像から自動脳腫瘍分割法を開発することで解決できる。 U-Netに基づく様々なディープラーニングモデルが提案されている。 これらのディープラーニングモデルは、腫瘍画像のデータセットに基づいてトレーニングされ、マスクのセグメント化に使用される。
  論文  参考訳（メタデータ） (2024-08-21T21:51:47Z)
• How Low Can You Go? Surfacing Prototypical In-Distribution Samples for Unsupervised Anomaly Detection [48.30283806131551]
  非常に少ないトレーニングサンプルを持つUADが、トレーニングデータセット全体のトレーニングパフォーマンスにすでに一致している - そして、場合によっては、それを超えることもある、ということが、私たちは示しています。 そこで本研究では,UAD性能をさらに向上させるために,原型標本を確実に同定するための教師なし手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T15:30:47Z)
• Forgetting Data from Pre-trained GANs [28.326418377665345]
  特定の種類のサンプルを忘れないように、トレーニング後にモデルを後編集する方法について検討する。 我々は,GANに対して,忘れるべきサンプルの表現方法が異なる3つの異なるアルゴリズムを提供する。 我々のアルゴリズムは、完全再トレーニングのコストのごく一部で、高品質を維持しながらデータを忘れることができる。
  論文  参考訳（メタデータ） (2022-06-29T03:46:16Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
  本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。 特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。 提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
  論文  参考訳（メタデータ） (2021-03-31T06:24:10Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Instance Selection for GANs [25.196177369030146]
  GAN(Generative Adversarial Networks)は、高品質な合成画像を生成するために広く採用されている。 GANはしばしばデータ多様体の外にある非現実的なサンプルを生成する。 本稿では,サンプルの品質向上のための新しいアプローチを提案する。モデルトレーニングが行われる前に,インスタンス選択によるトレーニングデータセットの変更を行う。
  論文  参考訳（メタデータ） (2020-07-30T06:33:51Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。