論文の概要: Progressive Monitoring of Generative Model Training Evolution

• arxiv url: http://arxiv.org/abs/2412.12755v1
• Date: Tue, 17 Dec 2024 10:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:00:20.350954
• Title: Progressive Monitoring of Generative Model Training Evolution
• Title（参考訳）: 生成モデル学習進化の進歩的モニタリング
• Authors: Vidya Prasad, Anna Vilanova, Nicola Pezzotti,
• Abstract要約: 深層生成モデル(DGM)は人気があるが、バイアスやその他の非効率性への感受性は依然として問題である。 DGMのトレーニングプロセスを監視するためのプログレッシブ分析フレームワークを導入する。 本稿では,GAN(Generative Adversarial Network)の早期学習におけるバイアスの特定と緩和を支援する方法を紹介する。
• 参考スコア（独自算出の注目度）: 1.3108652488669736
• License:
• Abstract: While deep generative models (DGMs) have gained popularity, their susceptibility to biases and other inefficiencies that lead to undesirable outcomes remains an issue. With their growing complexity, there is a critical need for early detection of issues to achieve desired results and optimize resources. Hence, we introduce a progressive analysis framework to monitor the training process of DGMs. Our method utilizes dimensionality reduction techniques to facilitate the inspection of latent representations, the generated and real distributions, and their evolution across training iterations. This monitoring allows us to pause and fix the training method if the representations or distributions progress undesirably. This approach allows for the analysis of a models' training dynamics and the timely identification of biases and failures, minimizing computational loads. We demonstrate how our method supports identifying and mitigating biases early in training a Generative Adversarial Network (GAN) and improving the quality of the generated data distribution.
• Abstract（参考訳）: 深層生成モデル(DGM)は人気を得ているが、バイアスやその他の望ましくない結果につながる非効率性への感受性は依然として問題である。 複雑さの増大に伴い、望ましい結果の達成とリソースの最適化のために、問題の早期発見が不可欠である。 そこで本研究では,DGMのトレーニングプロセスを監視するためのプログレッシブ分析フレームワークを提案する。 提案手法は, 遅延表現, 生成分布, 実分布の検査, および, 学習繰り返しの進化を容易にするために, 次元性低減技術を利用する。 このモニタリングにより、表現や分布が望ましくない進行をした場合、トレーニングメソッドを一時停止し、修正することができます。 このアプローチは、モデルのトレーニングダイナミクスの分析とバイアスと失敗のタイムリーな識別を可能にし、計算負荷を最小限にする。 本稿では,GAN(Generative Adversarial Network)の早期学習におけるバイアスの識別と緩和をサポートし,生成したデータ分布の品質を向上させる方法を示す。

関連論文リスト

• Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• MCGAN: Enhancing GAN Training with Regression-Based Generator Loss [5.7645234295847345]
  高忠実度データを生成する強力なツールとして,GAN(Adversarial Network)が登場している。 我々はモンテカルロガン(MCGAN)と呼ばれるアルゴリズムを提案する。 このアプローチは、革新的生成損失関数、すなわち回帰損失を利用して、回帰タスクとしてジェネレータトレーニングを再構成する。 本手法は, 有効発電機訓練のために, 判別器に弱い条件を必要とすることを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:15:52Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Demonstrating the Evolution of GANs through t-SNE [0.4588028371034407]
  COEGANのような進化的アルゴリズムは、最近、GANトレーニングを改善するソリューションとして提案されている。 本研究では, t-distributed Neighbour Embedding (t-SNE) を用いたGANの進展評価手法を提案する。 結果の t-SNE マップと Jaccard インデックスに基づく計量をモデル品質を表すために提案する。
  論文  参考訳（メタデータ） (2021-01-31T20:07:08Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。