論文の概要: Discrete Adjoint Matching

• arxiv url: http://arxiv.org/abs/2602.07132v1
• Date: Fri, 06 Feb 2026 19:12:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.462575
• Title: Discrete Adjoint Matching
• Title（参考訳）: 離散随伴マッチング
• Authors: Oswin So, Brian Karrer, Chuchu Fan, Ricky T. Q. Chen, Guan-Horng Liu,
• Abstract要約: 本稿では, 離散生成モデルの微調整を行うために, 共役マッチング (AM) の離散変種を提案する。 DAMの中核は、元の問題に対する最適解の離散随伴推定器の導入である。 合成および数学的推論タスクにおけるDAMの有効性を示す。
• 参考スコア（独自算出の注目度）: 43.00097192213681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computation methods for solving entropy-regularized reward optimization -- a class of problems widely used for fine-tuning generative models -- have advanced rapidly. Among those, Adjoint Matching (AM, Domingo-Enrich et al., 2025) has proven highly effective in continuous state spaces with differentiable rewards. Transferring these practical successes to discrete generative modeling, however, remains particularly challenging and largely unexplored, mainly due to the drastic shift in generative model classes to discrete state spaces, which are nowhere differentiable. In this work, we propose Discrete Adjoint Matching (DAM) -- a discrete variant of AM for fine-tuning discrete generative models characterized by Continuous-Time Markov Chains, such as diffusion-based large language models. The core of DAM is the introduction of discrete adjoint-an estimator of the optimal solution to the original problem but formulated on discrete domains-from which standard matching frameworks can be applied. This is derived via a purely statistical standpoint, in contrast to the control-theoretic viewpoint in AM, thereby opening up new algorithmic opportunities for general adjoint-based estimators. We showcase DAM's effectiveness on synthetic and mathematical reasoning tasks.
• Abstract（参考訳）: エントロピー規則化報酬最適化(微調整生成モデルに広く用いられている問題のクラス)の解法は急速に進歩している。 これらのうち、随伴マッチング (AM, Domingo-Enrich et al , 2025) は、微分可能な報酬を持つ連続状態空間において非常に有効であることが証明されている。 しかし、これらの実践的な成功を離散生成モデルに移すことは、主に生成モデルクラスの離散状態空間への急激なシフトのために、特に困難であり、探索されていない。 本研究では,拡散に基づく大規模言語モデルなど,連続時間マルコフ連鎖を特徴とする離散生成モデルを微調整するためのAMの離散変種である離散随伴マッチング(DAM)を提案する。 DAMの中核は、元の問題に対する最適解の離散随伴推定器の導入であるが、標準マッチングフレームワークを適用可能な離散領域に定式化されている。 これはAMの制御理論的な視点とは対照的に純粋に統計的な視点で導出され、一般随伴型推定器の新しいアルゴリズム的機会が開かれる。 合成および数学的推論タスクにおけるDAMの有効性を示す。

関連論文リスト

• Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
  拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。 i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。 本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-26T15:06:30Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Multi-Agent Path Finding in Continuous Spaces with Projected Diffusion Models [57.45019514036948]
  MAPF(Multi-Agent Path Finding)は、ロボット工学における基本的な問題である。 連続空間におけるMAPFの拡散モデルと制約付き最適化を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T21:27:19Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。 これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。 本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models [9.91610928326645]
  拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
  論文  参考訳（メタデータ） (2023-12-13T10:04:06Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。