論文の概要: Blocked Gibbs meets Diffusion Transformers: Unsupervised Learning for Constraint Optimization

• arxiv url: http://arxiv.org/abs/2605.25129v1
• Date: Sun, 24 May 2026 15:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.846739
• Title: Blocked Gibbs meets Diffusion Transformers: Unsupervised Learning for Constraint Optimization
• Title（参考訳）: Blocked Gibbsが拡散変換器に到達:制約最適化のための教師なし学習
• Authors: Yudong W. Xu, Wenhao Li, Xiaoyu Wang, Scott Sanner, Elias B. Khalil,
• Abstract要約: 拡散モデルは制約最適化問題を解決する学習において有望であることを示している。 それらは主にバイナリ変数の問題に制限されており、グラフニューラルネットワークに依存している。 上記の制限に対処するための拡散変換器について検討する。
• 参考スコア（独自算出の注目度）: 38.66247073329942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown promise in learning to solve constraint optimization problems. However, they are mostly restricted to problems with binary variables and rely on graph neural networks, hindering their application to a broader range of problems such as those with general discrete variables or constraint structures that necessitate global rather than local reasoning. We investigate the use of Diffusion Transformers to address the aforementioned limitations. A naive implementation performs poorly due to a fundamental mismatch between the standard diffusion process and constraint solving: while the former applies small, incremental denoising across all variables, the latter requires substantially altering specific subsets of variables to attain feasibility or optimality. Our method, Blocked Gibbs Diffusion Transformer (BloGDiT), is the first to address this limitation by replacing standard joint Gaussian denoising with blocked Gaussian denoising. BloGDiT uses iterative block resampling and anneals the block size over time to facilitate large, targeted edits within a block of variables. Across Sudoku, Graph Coloring, Maximum Independent Set, and MaxCut, BloGDiT matches or outperforms existing methods, demonstrating that blocked Gibbs-style diffusion provides a highly effective inductive bias for Transformer-based constraint satisfaction and optimization.
• Abstract（参考訳）: 拡散モデルは制約最適化問題を解決する学習において有望であることを示している。 しかし、それらは主にバイナリ変数の問題に制限されており、グラフニューラルネットワークに依存しており、一般的な離散変数や局所的な推論よりもグローバルな制約構造を持つような幅広い問題に応用を妨げている。 上記の制限に対処するための拡散変換器について検討する。 単純実装は、標準拡散過程と制約解の根本的なミスマッチにより、パフォーマンスが悪く、前者はすべての変数に対して小さなインクリメンタルデノゲーションを適用するが、後者は実現可能性または最適性を達成するために変数の特定の部分集合を実質的に変更する必要がある。 我々の方法であるBlocked Gibbs Diffusion Transformer (BloGDiT) は、標準的な結合ガウス分極をブロックガウス分極に置き換えることで、この制限に対処する最初の方法である。 BloGDiTは繰り返しブロック再サンプリングを使用して、ブロックサイズを時間とともに短縮し、変数のブロック内で大きなターゲットの編集を容易にする。 Sudoku, Graph Coloring, Maximum Independent Set, and MaxCut, BloGDiT match or outperforms existing Methods, demonstrated that block Gibbs-style diffusion provide a highly effective inductive bias for Transformer-based constraint satisfaction and optimization。

関連論文リスト

• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Guiding a Diffusion Model by Swapping Its Tokens [16.588428780117752]
  本研究では,条件生成と非条件生成の両方に対して,CFGライクなガイダンスを実現するための簡単な手法を提案する。 鍵となるアイデアは、単純なトークンスワップ操作によって混乱した予測を生成することである。 提案手法はトークン潜伏剤を選択的に交換し,分解し,摂動の制御をきめ細かなものにする。
  論文  参考訳（メタデータ） (2026-04-09T09:54:49Z)
• Sparse QUBO Formulation for Efficient Embedding via Network-Based Decomposition of Equality and Inequality Constraints [0.35331503620315147]
  等式制約と不等式制約に対して,かなりスペーサーな論理QUBOモデルを構築する手法を提案する。 特定のネットワーク構造に基づいて補助変数を追加することにより、本手法は元の制約をより小さく、より管理しやすい制約に分解する。 D-Waveのハードウェア上での実験結果から,我々の定式化は埋め込みに必要な量子ビット数を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-01-26T03:40:06Z)
• Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition [51.22672287601796]
  ペナルティに基づく手法は、双レベル最適化(BLO)問題を解くのに人気がある。 それらはしばしば、大きなペナルティ項によって引き起こされる滑らかさの増加に対応するために、低レベル(LL)問題と小さな外ループステップサイズを解決するためにインナーループ反復を必要とする。 この研究は、結合制約(CC)を伴う一般的なBLO問題を考察し、上位変数と下位変数を分離する新しいペナルティ改革を活用する。
  論文  参考訳（メタデータ） (2025-11-20T20:48:14Z)
• Constraint-Guided Prediction Refinement via Deterministic Diffusion Trajectories [7.279433512595361]
  本稿では,拡散拡散DDIMを誘導する制約認識のための汎用フレームワークを提案する。 本手法は,事前学習による拡散軌道を反復的に改良し,制約補正により拡張する。
  論文  参考訳（メタデータ） (2025-06-15T17:02:07Z)
• Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints [30.624303845550575]
  Interleaved Gibbs Diffusion (IGD)は、離散連続データのための新しい生成モデリングフレームワークである。 IGDは離散時間ギブスサンプリング型マルコフ連鎖を離散連続生成の場合に一般化する。 ドメイン固有の帰納バイアスに頼ることなく、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-02-19T05:51:24Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Maximum Spatial Perturbation Consistency for Unpaired Image-to-Image Translation [56.44946660061753]
  本稿では,最大空間摂動整合(MSPC)と呼ばれる普遍正規化手法を提案する。 MSPCは空間摂動関数(T)と変換演算子(G)を可換(TG = GT)に強制する。 提案手法は,ほとんどのI2Iベンチマークにおいて最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-03-23T19:59:04Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。