論文の概要: Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation

• arxiv url: http://arxiv.org/abs/2608.00562v1
• Date: Sat, 01 Aug 2026 10:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.780609
• Title: Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation
• Title（参考訳）: Token-Levelクロスエントロピーを超えて:自己回帰画像生成のためのフレシェ分布ポストトレーニング
• Abstract要約: FD-lossポストトレーニングは、表現空間フレシェ距離を唯一の目的とする事前訓練された離散ジェネレータに適応する。 クラス条件のImageNet上の4つのジェネレータファミリーから、256times256$で完了した8つの構成で、FD-lossポストトレーニングはFIDと$mathrmFD_r6$を平均41.4%、そして52.0%削減する。
• 参考スコア（独自算出の注目度）: 20.360043829037306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive image generators are commonly pretrained with token-level cross-entropy under teacher forcing, yet evaluated by the distributional quality of decoded images. This creates an objective mismatch, because categorical errors have unequal image-level consequences, and a context mismatch, because inference conditions on model-generated histories. We introduce FD-loss post-training, which adapts a pretrained discrete generator using representation-space Fréchet distance as the sole objective. A dual-pass scheme first constructs detached rollout contexts through gradient-free generation under the model's native inference configuration, then performs differentiable replay with a probability-level straight-through estimator (STE) that preserves hard argmax decoding in the forward pass while propagating image-level gradients through temperature-scaled probabilities. Only the generator is updated, while the tokenizer and feature extractors remain frozen. Across eight completed configurations from four generator families on class-conditional ImageNet at $256\times256$, FD-loss post-training reduces FID and $\mathrm{FD}_{r6}$ by 41.4% and 52.0% on average. The strongest FID result improves from 2.42 to 1.43 without adding parameters or inference steps.
• Abstract（参考訳）: 自己回帰画像生成装置は通常、教師の強制下でトークンレベルのクロスエントロピーで事前訓練されるが、復号画像の分布品質によって評価される。 これは、分類的エラーが画像レベルの不平等な結果をもたらすため、客観的なミスマッチを生成し、また、モデル生成履歴に対する推論条件のため、コンテキストミスマッチを生成する。 本稿では,FD-lossポストトレーニングを導入する。FD-lossポストトレーニングは,表現空間フレシェ距離を唯一の目的とする事前訓練された離散生成器を適応させる。 デュアルパス方式は、まずモデルのネイティブな推論構成の下で、勾配のない生成を通じて分離されたロールアウトコンテキストを構築し、その後、温度スケールの確率で画像レベルの勾配を伝播しながら、前方パスでハードなargmaxデコーディングを保持する確率レベルストレートスルー推定器(STE)で微分可能なリプレイを実行する。 ジェネレータのみが更新され、トークン化器と特徴抽出器は凍結されている。 クラス条件のImageNet上の4つのジェネレータファミリーから256\times256$の8つの完了した構成で、FD-lossポストトレーニングはFIDと$\mathrm{FD}_{r6}$を平均41.4%、および52.0%削減する。 最強のFID結果はパラメータや推論ステップを追加することなく2.42から1.43に改善される。

関連論文リスト

• Off-Manifold Refinement: Guiding Video Generators with a Frozen World Model [2.4870727053423236]
  Off-Manifold Refinement (OMR)は、単一のサンプリング軌道に直接ワールドモデルフィードバックを注入する推論時間法である。 固定された400-prompt VideoPhy-2の詳細部分集合では、OMRはSemantic-Adherence-and-Physical-Commonsenseを47.0%から52.0%に引き上げる。
  論文  参考訳（メタデータ） (2026-08-30T17:00:09Z)
• Cross-scale Aligned Supervision for Training GANs [41.13613492946196]
  我々は、標準的なスケールワイド敵監督が適切な粗大な階層を構築していないことを論じる。 マルチスケール逆数生成のためのクロススケールアライメント変換器であるCATを提案する。
  論文  参考訳（メタデータ） (2026-05-26T02:01:11Z)
• SimFlow: Simplified and End-to-End Training of Latent Normalizing Flows [37.7899995917052]
  分散(VAEエンコーダによって予測される)を定数に修正する方法を見つける。 ImageNet $256 256$ 生成タスクでは、我々のモデル SimFlow が gFID スコア 2.15 を取得し、最先端のSTARFlow (gFID 2.40) よりも優れている。 SimFlowは、エンドツーエンドの表現アライメントアライメント(REPA-E)メソッドとシームレスに統合することができ、改良されたgFID 1.91を実現し、NF間の新しい状態を設定する。
  論文  参考訳（メタデータ） (2025-12-03T18:59:57Z)
• Image Tokenizer Needs Post-Training [76.91832192778732]
  本稿では,遅延空間構築と復号化に着目した新しいトークン化学習手法を提案する。 具体的には,トークン化の堅牢性を大幅に向上させる,プラグアンドプレイ型トークン化学習手法を提案する。 生成したトークンと再構成されたトークンの分布差を軽減するために、よく訓練された生成モデルに関するトークン化デコーダをさらに最適化する。
  論文  参考訳（メタデータ） (2025-09-15T21:38:03Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation [9.628074306577851]
  現在の条件付き自己回帰画像生成手法は有望な結果を示しているが、実際の教師なし画像翻訳領域では、その可能性はほとんど解明されていない。 臨界制限は、伝統的なベクトル量子化に基づくフレームワークに固有の離散量子化に由来する。 我々は,連続確率混合プロセスとしてコードブックの選択を再構成する新しい手法であるSoftmax Relaxed Quantizationを提案する。
  論文  参考訳（メタデータ） (2025-06-29T17:43:04Z)
• Few-Step Diffusion via Score identity Distillation [67.07985339442703]
  拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:45:16Z)
• Robust Latent Matters: Boosting Image Generation with Sampling Error Synthesis [57.7367843129838]
  最近の画像生成方式は、凍結した画像トークン化器に依存した事前構築された潜在空間における画像分布を典型的に捉えている。 本稿では,遅延空間構築を容易にするための新しいプラグ・アンド・プレイ・トークンライザ・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-03-11T12:09:11Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
  既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。 文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
  論文  参考訳（メタデータ） (2024-01-04T01:10:56Z)
• Entropy-driven Sampling and Training Scheme for Conditional Diffusion Generation [16.13197951857033]
  Denoising Diffusion Probabilistic Model (DDPM)は、事前ノイズから実データへの柔軟な条件付き画像生成を可能にする。 しかし、分類器が高次構造でのみ不完全生成画像を容易に判別できるため、勾配は早期に消失する傾向にある。 この問題に対処するための2つの視点から、単純だが効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-06-23T04:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。