論文の概要: ROMS-IMLE: A Minimalist Approach to Competitive Single-Step Generative Modelling

• arxiv url: http://arxiv.org/abs/2607.19332v1
• Date: Tue, 21 Jul 2026 17:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.521961
• Title: ROMS-IMLE: A Minimalist Approach to Competitive Single-Step Generative Modelling
• Title（参考訳）: ROMS-IMLE: 競合する単一ステップ生成モデルに対するミニマリストアプローチ
• Abstract要約: 競争力のある生成モデルを設計するために、最小限のアプローチを取る。 トレーニング目的のために、Implicit Maximum Likelihood Estimation (IMLE)を選択する。 モデルでは、変換器を設計し、代わりに適度な大きさの畳み込みネットワークを選択する。
• 参考スコア（独自算出の注目度）: 6.903463801726018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models have undergone many generations of evolution, from VAEs/GANs to diffusion/flow matching. Along the way, the underlying techniques have become more complicated and various beliefs about what drives strong empirical performance have taken hold. Due to the success of diffusion models and flow matching, one of the more common beliefs is the importance of transforming the noise distribution to the data distribution gradually through many small transformations. We ask whether this is truly necessary, and take a minimalist approach to designing a competitive generative model. We start with the bare-bones essentials, namely just a training objective and a model. We purposefully make both simple. For the training objective, we choose Implicit Maximum Likelihood Estimation (IMLE), and eschew more complicated alternatives such as variational inference, adversarial training and numerical integration. For the model, we eschew transformers and instead choose a moderately sized convolutional network. Then we judiciously added elements that are truly essential, which surprisingly do not include iterative denoising. The result is a single-step parameter-efficient generative model that produces high quality samples at fast speed: it achieves an FID of 2.56 on ImageNet 256 and simultaneously attains good precision and recall.
• Abstract（参考訳）: 生成モデルは、VAE/GANから拡散/フローマッチングまで、何世代にもわたって進化してきた。 その過程で、根底にある技術はより複雑になり、強力な経験的パフォーマンスをもたらすものに対する様々な信念が保たれてきた。 拡散モデルとフローマッチングの成功により、より一般的な信念の1つは、多くの小さな変換を通して、ノイズ分布をデータ分布に徐々に変換することの重要性である。 我々は、これが本当に必要かどうかを問うとともに、競争力のある生成モデルの設計に最小限のアプローチを取る。 まずは、ベアボーンの本質、すなわち単にトレーニング目標とモデルから始めます。 私たちは意図的に両方をシンプルにします。 トレーニング目的として、Implicit Maximum Likelihood Estimation (IMLE)を選択し、変分推論、逆行訓練、数値積分などのより複雑な選択肢を抽出する。 モデルでは、変換器を設計し、代わりに適度な大きさの畳み込みネットワークを選択する。 そして、本当に必要不可欠な要素を司法的に追加します。 その結果、高速に高品質なサンプルを生成する1ステップのパラメータ効率生成モデルが、ImageNet 256上で2.56のFIDを達成し、精度とリコールを同時に達成した。

関連論文リスト

• TwinFlow: Realizing One-step Generation on Large Models with Self-adversarial Flows [25.487712175353035]
  1ステップ生成モデルをトレーニングするフレームワークであるTwinFlowを提案する。 本手法は,テキスト・ツー・イメージタスクにおいて1-NFEで0.83のGenEvalスコアを得る。 提案手法は,GenEval および DPG-Bench ベンチマーク上でのオリジナルの 100-NFE モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-12-03T07:45:46Z)
• Score-based Idempotent Distillation of Diffusion Models [0.9367224590861915]
  一等性生成ネットワーク(IGN)は、対象多様体への等等性写像に基づく新しい生成モデルである。 本研究では拡散モデルスコアから等等化モデルを蒸留することにより拡散とIGNを結合し、SIGNと呼ぶ。 提案手法は非常に安定しており, 対向的損失を伴わないため, 提案手法の理論的解析を行い, IGNを予め学習した拡散モデルから効果的に蒸留できることを実証的に示す。
  論文  参考訳（メタデータ） (2025-09-25T19:36:10Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Multistep Consistency Models [24.443707181138553]
  1ステップの一貫性モデルは従来の一貫性モデルであるが、$infty$ステップの一貫性モデルは拡散モデルである。 サンプル予算を1ステップから2～8ステップに増やすことで、より高い品質のサンプルを生成するモデルをより簡単にトレーニングすることが可能になります。 提案手法はテキストから画像への拡散モデルにスケールし,元のモデルの品質に近いサンプルを生成する。
  論文  参考訳（メタデータ） (2024-03-11T15:26:34Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。