論文の概要: Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks

• arxiv url: http://arxiv.org/abs/2609.09009v1
• Date: Tue, 08 Sep 2026 16:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.697432
• Title: Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks
• Title（参考訳）: 自己補正に進むか、学ぶか - 制約された離散タスクに対する継続的拡散
• Abstract要約: 拡散確率モデル(Denoising Diffusion Probabilistic Models)は、各更新を現在のノイズ状態に近い状態に保ちながら、繰り返しdenoisingによってサンプルを生成する。 モデルのクリーンな予測が有益である場合でも,標準拡散サンプリングは早期の誤りを保存する可能性があることを示す。 自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。
• 参考スコア（独自算出の注目度）: 16.76819088768813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising Diffusion Probabilistic Models (DDPMs) generate samples by starting from noise and repeatedly denoising while keeping each update close to the current noisy state. This behavior is effective in many continuous domains, but its role is less clear for globally constrained discrete tasks, such as Sudoku, graph connectivity, Latin squares, and N-queens. In such settings, early discrete errors can be difficult to undo. As a result, standard diffusion sampling may preserve early mistakes, even when the model's clean predictions are informative. We compare standard samplers to sampling directly from the model's clean prediction. Without retraining, this single change improves Sudoku validity from 31% to 95%, with consistent gains across the other discrete tasks. We hypothesize that staying close to the current noisy state is harmful because the reverse trajectory can drift off the forward noising distribution the model was trained on. To reduce this train-test mismatch, we further introduce self-correction training, which exposes the model to its own predictions, improving robustness to errors that arise during inference. This substantially improves the performance of standard samplers. Our results suggest that continuous diffusion models can learn nontrivial global constraints, but discrete reasoning tasks require better alignment between training and inference: either through samplers that reduce commitment to early decisions, or through training that teaches the model to correct its own inference-time errors.
• Abstract（参考訳）: Denoising Diffusion Probabilistic Models (DDPM) はノイズから始まり、各更新を現在のノイズ状態に近い状態に保ちながら繰り返し denoising を繰り返すことでサンプルを生成する。 この振る舞いは多くの連続した領域で有効であるが、その役割はスードゥーク、グラフ接続、ラテン正方形、N-クエンスのような世界的に制約された離散的なタスクでは明確ではない。 このような設定では、早期の離散エラーを解き放つことは困難である。 結果として、モデルのクリーンな予測が有益な場合でも、標準拡散サンプリングは早期の誤りを保存することができる。 モデルのクリーンな予測から直接サンプルをサンプリングするのと、標準的なサンプルの比較を行う。 再トレーニングなしでは、この単一変更は、スドクの妥当性を31%から95%に改善し、他の個別タスクに対して一貫して向上する。 モデルが学習した前方雑音分布から逆軌道を逸脱できるため, 現状の雑音状態に近い状態に留まることは有害である, という仮説を立てる。 この列車試験ミスマッチを減らすために、さらに自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。 これにより、標準サンプリング器の性能が大幅に向上する。 我々の結果は,連続拡散モデルが非自明なグローバル制約を学習できることを示唆している。しかし離散的推論タスクは,早期決定へのコミットメントを減らしたサンプルや,モデルに推論時エラーの修正を教えるトレーニングを通じて,トレーニングと推論の整合性を改善する必要がある。

関連論文リスト

• FastDiSS: Few-step Match Many-step Diffusion Language Model on Sequence-to-Sequence Generation--Full Version [4.099184871977765]
  高速推論のための1ステップサンプリングで自己条件が劣化する。 本稿では,推測雑音にマッチする自己条件信号を実現するためのトレーニングフレームワークを提案する。 我々のフレームワークは、標準の連続拡散モデルを超え、最大400倍高速な推論速度を提供する。
  論文  参考訳（メタデータ） (2026-04-07T07:52:08Z)
• Combating Noisy Labels through Fostering Self- and Neighbor-Consistency [120.4394402099635]
  ラベルノイズは様々な現実世界のシナリオで広まり、教師付きディープラーニングの課題を提起する。 我々は、Jo-SNC(textbfSelf- と textbfNeighbor-textbfConsistency に基づくサンプル選択とモデル正規化)というノイズロバスト手法を提案する。 我々は、クラスごとの選択閾値を調整するための自己適応型データ駆動しきい値設定方式を設計する。
  論文  参考訳（メタデータ） (2026-01-19T07:55:29Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Informed Correctors for Discrete Diffusion Models [27.295990499157814]
  離散拡散モデルに対する予測・相関型サンプリング手法を提案する。 情報補正器は,誤差が少なく,FIDスコアが向上した優れたサンプルを連続的に生成することを示す。 本結果は,離散拡散を用いた高速かつ高忠実な生成のための情報補正器の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Common Diffusion Noise Schedules and Sample Steps are Flawed [7.802281665410233]
  拡散ノイズスケジュールは、信号対雑音比がゼロになる最後の段階を強制しない。 拡散サンプリングの実装は、最後の段階から始まりません。 既存の実装において、欠陥のある設計が真の問題を引き起こすことを示す。
  論文  参考訳（メタデータ） (2023-05-15T12:21:08Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Input Perturbation Reduces Exposure Bias in Diffusion Models [41.483581603727444]
  本稿では,長いサンプリングチェーンが,自己回帰テキスト生成における露出バイアス問題と同様の誤差蓄積現象を引き起こすことを示す。 本稿では,推定時間予測誤差をシミュレートするために,基底真理サンプルを摂動させることにより,非常に単純で効果的なトレーニング正則化を提案する。 実験により,リコールと精度に影響を与えることなく,提案した入力摂動がサンプル品質を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-01-27T13:34:54Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。