論文の概要: Improving Generative Model Self-Training with Geometrically Modified Outputs

• arxiv url: http://arxiv.org/abs/2609.35512v1
• Date: Mon, 28 Sep 2026 16:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:15:08.473463
• Title: Improving Generative Model Self-Training with Geometrically Modified Outputs
• Title（参考訳）: 幾何学的修正出力による生成モデル自己学習の改善
• Abstract要約: 本稿では,ジェネレータの入力出力ジャコビアンの特異値を再重み付けして,その先頭の特異方向の影響を増大させる幾何学的修正出力(GMOs)を提案する。 GMOは、標準的なモデル出力と比較して、ネオンやSIMSを含む負の誘導法の性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 0.784418403729051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training generative models - the continued improvement of a model using its own outputs - is becoming increasingly important as high-quality training data becomes scarce. However, naively finetuning on model-generated samples leads to degradation through model collapse and the model autophagy disorder. Negative-guidance self-training methods turn this degradation into a useful signal, using a model finetuned on its own outputs to guide the original model toward improved generation. Existing methods, however, take the negative signal in standard model outputs as given. We instead ask whether this signal can be explicitly strengthened. We introduce Geometrically Modified Outputs (GMOs), which reweight the singular values of the generator's input-output Jacobian to increase the influence of its leading singular directions. This geometric modification amplifies the mode-seeking behavior and distortions of standard outputs, providing a stronger and more targeted negative signal for self-training. Across a range of one-step generative models, GMOs consistently improve the performance of negative-guidance methods, including Neon and SIMS, compared with using standard model outputs.
• Abstract（参考訳）: 自己学習生成モデル – 独自のアウトプットを使用したモデルの継続的な改善 – は,高品質なトレーニングデータが不足するにつれ,ますます重要になってきています。 しかし, モデル生成試料の経時的微調整は, モデル崩壊とモデルオートファジー障害による劣化を引き起こす。 負の誘導自己学習法は、この劣化を、独自の出力に微調整されたモデルを用いて、生成の改善に向けて元のモデルを導くことで、有用な信号へと変換する。 しかし、既存の方法は標準モデル出力の負の信号を取る。 その代わりに、この信号が明示的に強化されるかどうかを問う。 本稿では,ジェネレータの入力出力ジャコビアンの特異値を再重み付けして,その先頭の特異方向の影響を増大させる幾何学的修正出力(GMOs)を提案する。 この幾何学的な修正は、標準出力のモード探索挙動と歪みを増幅し、自己学習のためのより強くより標的となる負の信号を与える。 一連の一段階生成モデルにおいて、GMOは標準的なモデル出力と比較して、ネオンやSIMSを含む負の誘導法の性能を一貫して改善する。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals [14.741951369068877]
  ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。 本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。 提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
  論文  参考訳（メタデータ） (2024-02-04T03:54:31Z)
• How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization [13.440645736306267]
  本稿ではモデルに基づく強化学習のためのアルゴリズムを開発する。 モデルシフトとモデルバイアスを統一し、微調整プロセスを定式化する。 これは、いくつかの挑戦的なベンチマークタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-09-22T07:27:32Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。