論文の概要: Generalized Discrete Diffusion with Self-Correction

• arxiv url: http://arxiv.org/abs/2603.02230v1
• Date: Fri, 13 Feb 2026 04:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.095623
• Title: Generalized Discrete Diffusion with Self-Correction
• Title（参考訳）: 自己補正による離散拡散の一般化
• Authors: Linxuan Wang, Ziyi Wang, Yikun Bai, Wei Deng, Guang Lin, Qifan Song,
• Abstract要約: 自己補正は、最小性能劣化を伴う離散拡散モデルにおける並列サンプリングの維持に有効な手法である。 本研究では,事前学習した自己補正を明示的な状態遷移で再構成し,離散時間で直接学習する自己補正拡散モデルを提案する。 我々のフレームワークは、トレーニングノイズスケジュールを簡素化し、冗長なリメイキングのステップを排除し、自己補正を学習するために一様遷移にのみ依存する。
• 参考スコア（独自算出の注目度）: 20.435906948993022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-correction is an effective technique for maintaining parallel sampling in discrete diffusion models with minimal performance degradation. Prior work has explored self-correction at inference time or during post-training; however, such approaches often suffer from limited generalization and may impair reasoning performance. GIDD pioneers pretraining-based self-correction via a multi-step BERT-style uniform-absorbing objective. However, GIDD relies on a continuous interpolation-based pipeline with opaque interactions between uniform transitions and absorbing masks, which complicates hyperparameter tuning and hinders practical performance. In this work, we propose a Self-Correcting Discrete Diffusion (SCDD) model to reformulate pretrained self-correction with explicit state transitions and learn directly in discrete time. Our framework also simplifies the training noise schedule, eliminates a redundant remasking step, and relies exclusively on uniform transitions to learn self-correction. Experiments at the GPT-2 scale demonstrate that our method enables more efficient parallel decoding while preserving generation quality.
• Abstract（参考訳）: 自己補正は、最小性能劣化の離散拡散モデルにおける並列サンプリングの維持に有効な手法である。 従来の研究は推論時や訓練後における自己補正を探求してきたが、そのようなアプローチは一般化が限定的であり、推論性能を損なうことがある。 GIDDは、多段階のBERTスタイルの均一吸収目標を通じて、事前学習に基づく自己補正の先駆者である。 しかし、GIDDは、均一な遷移と吸収マスクの間の不透明な相互作用を持つ連続的な補間ベースのパイプラインに依存しており、これはハイパーパラメータチューニングを複雑にし、実用的なパフォーマンスを妨げる。 本研究では,自己修正離散拡散(SCDD)モデルを提案する。 我々のフレームワークは、トレーニングノイズスケジュールを簡素化し、冗長なリメイキングのステップを排除し、自己補正を学習するために一様遷移にのみ依存する。 GPT-2スケールの実験では,生成品質を保ちながら,より効率的な並列復号化を実現している。

関連論文リスト

• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• ADT: Tuning Diffusion Models with Adversarial Supervision [16.974169058917443]
  拡散モデルは、真のデータ分布を近似するために前方ノイズ発生過程を反転させることで、優れた画像生成を実現している。 本稿では、最適化中の推論プロセスを刺激し、最終的な出力をトレーニングデータと整合させるために、Adrial Diffusion Tuning (ADT)を提案する。 ADTは、固定されたトレーニング済みのバックボーンと軽量なトレーニング可能なパラメータを備えたシアム-ネットワーク識別器を備えている。
  論文  参考訳（メタデータ） (2025-04-15T17:37:50Z)
• REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers [52.55041244336767]
  従来のディープラーニングの知恵は、エンド・ツー・エンドのトレーニングが可能な限り望ましいと判断する。 遅延拡散変換器では,標準拡散損失を用いたVAEと拡散モデルの両方のエンドツーエンドトレーニングが有効でないことが観察された。 拡散損失は非効率であるが,表現アライメント(REPA)の損失によってエンドツーエンドのトレーニングをアンロックできることが示されている。
  論文  参考訳（メタデータ） (2025-04-14T17:59:53Z)
• Efficient Diffusion Training through Parallelization with Truncated Karhunen-Loève Expansion [5.770347328961063]
  拡散認知モデルは、トレーニング中に緩やかな収束に苦しむ。 本稿では,トレーニングとサンプリングのための新しい前向きプロセスを提案する。 本手法はベースライン拡散モデルより有意に優れている。
  論文  参考訳（メタデータ） (2025-03-22T05:34:02Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• HarmoniCa: Harmonizing Training and Inference for Better Feature Caching in Diffusion Transformer Acceleration [31.982294870690925]
  我々はHarmoniCaと呼ばれる新しい学習ベースのキャッシュフレームワークを開発した。 SDT(Step-Wise Denoising Training)を取り入れて、Denoisingプロセスの継続性を保証する。 私たちのフレームワークは40%以上のレイテンシ削減(理論的スピードアップ)とPixArt-$alpha$のパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-10-02T16:34:29Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。