論文の概要: A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding

• arxiv url: http://arxiv.org/abs/2606.13565v1
• Date: Thu, 11 Jun 2026 16:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.928177
• Title: A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding
• Title（参考訳）: A2D2: 適応デコードのための細長い離散拡散
• Abstract要約: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding (A2D2)は、任意の長さの離散拡散モデルの報酬誘導微調整のための統一的なフレームワークである。 A2D2は、前回の固定長微調整および推論時間誘導法よりも生成の柔軟性と精度を高めつつ、報酬の最適化を改善する。
• 参考スコア（独自算出の注目度）: 22.34876457522286
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Discrete diffusion models offer a simple and stable likelihood-based framework for sequence generation, recently extended to any-length settings via token insertion. Principled reward-guided fine-tuning for any-length discrete diffusion, however, remains largely unexplored. We introduce Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding (A2D2), a unified framework for reward-guided fine-tuning of any-length discrete diffusion models via joint optimization of the insertion and unmasking policies together with a quality-based inference schedule. We derive the Radon-Nikodym derivative for the joint insertion-unmasking path measures, enabling theoretically guaranteed convergence to the intractable reward-tilted sequence distribution without requiring target samples. Building on this, we establish unmasking and insertion quality as tractable approaches for minimizing decoding error and introduce the Adaptive Joint Decoding (AJD) loss, which provably yields the optimal path measure that generates the reward-tilted distribution. Empirically, A2D2 improves reward optimization while enhancing generation flexibility and accuracy over prior fixed-length fine-tuning and inference-time guidance methods.
• Abstract（参考訳）: 離散拡散モデルは、シークエンス生成のためのシンプルで安定した確率ベースのフレームワークを提供し、最近トークン挿入によって任意の長さの設定に拡張された。 しかしながら、任意の長さの離散拡散に対する原則付き報酬誘導微調整は、ほとんど未解明のままである。 本稿では,適応復号化のためのファインチューニング・アレングス離散拡散(A2D2)について紹介する。これは品質ベースの推論スケジュールとともに挿入およびアンマキングポリシの協調最適化を通じて,任意の長さの離散拡散モデルの報酬誘導微調整のための統一的なフレームワークである。 我々は,結合挿入・アンマキング経路測定のためのRandon-Nikodym誘導体を導出し,ターゲットサンプルを必要とせず,理論的に補償型シーケンス分布への収束を保証した。 これに基づいて、デコードエラーを最小限に抑えるための難解なアプローチとして、非マスキングと挿入品質を確立し、アダプティブ・ジョイント・デコード(AJD)損失を導入する。 経験的に、A2D2は、前回の固定長微調整および推論時間誘導法よりも生成の柔軟性と精度を高めつつ、報酬の最適化を改善する。

関連論文リスト

• Constrained Diffusion Models with Primal-Dual Inference [76.64466170898369]
  我々はPDI(primal-Dual Inference)を用いた制約付き拡散モデルを開発する。 PDIは最適原始分布とそのパラメトリゼーション双対変数を推定する。 我々は、ガウシアン、無線リソースアロケーション、ポートフォリオ管理の混合による制約サンプリングに基づくPDIを評価する。
  論文  参考訳（メタデータ） (2026-06-15T18:32:33Z)
• DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment [49.45064510462232]
  テキスト・画像生成のためのGRPOベースのアプローチは、スパース報酬問題に悩まされる。 textbfDenseGRPOは、人間の好みと深い報酬を一致させる新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-01-28T03:39:05Z)
• TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete Diffusion [22.34876457522286]
  TRee Search Guided TRajectory-Aware Fine-Tuning for Discrete Diffusion (TR2-D2) 本稿では,Tree Search Guided TRajectory-Aware Fine-Tuning for Discrete Diffusion (TR2-D2)を紹介した。 これらのバッファはモンテカルロ木探索(MCTS)を用いて生成され、その後、最適制御目的の下で事前学習された離散拡散モデルを微調整するために使用される。
  論文  参考訳（メタデータ） (2025-09-29T17:58:45Z)
• Discrete Guidance Matching: Exact Guidance for Discrete Flow Matching [36.348940136801296]
  この問題に対処するために、離散データのための新しいガイダンスフレームワークを提案する。 学習した離散フローマッチングモデルにより、所望の分布の正確な遷移率を導出する。 本稿では,エネルギー誘導型シミュレーションと嗜好アライメントによるテキスト・ツー・イメージ生成とマルチモーダル理解タスクの有効性を示す。
  論文  参考訳（メタデータ） (2025-09-26T05:51:31Z)
• Preference-Based Alignment of Discrete Diffusion Models [14.874943508610857]
  連続時間マルコフ連鎖として定式化された離散拡散モデルに対する直接選好最適化(DPO)の最初の適応である離散拡散DPO(D2-DPO)を導入する。 提案手法は, 参照分布に忠実さを保ちつつ, 選好データを用いて生成過程を直接微調整する新規な損失関数を導出する。 以上の結果から,D2-DPOは明示的な報酬モデルを必要としない制御された微調整が可能であり,強化学習によるアプローチの代替となることが示唆された。
  論文  参考訳（メタデータ） (2025-03-11T11:07:35Z)
• Reward-Guided Iterative Refinement in Diffusion Models at Test-Time with Applications to Protein and DNA Design [87.58981407469977]
  進化的アルゴリズムにインスパイアされた拡散モデルを用いた推論時間報酬最適化のための新しいフレームワークを提案する。 当社のアプローチでは,各イテレーションにおける2つのステップ – ノイズ発生と報酬誘導という,反復的な改善プロセスを採用しています。
  論文  参考訳（メタデータ） (2025-02-20T17:48:45Z)
• Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
  分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。 まず、確率分布に対する一般正規化損失最小化として問題を定式化する。 本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-02-05T07:35:15Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。