論文の概要: Diffusion Language Model Inference with Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2512.12168v1
• Date: Sat, 13 Dec 2025 04:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.145095
• Title: Diffusion Language Model Inference with Monte Carlo Tree Search
• Title（参考訳）: モンテカルロ木探索による拡散言語モデルの推定
• Authors: Zheng Huang, Kiran Ramnath, Yueyan Chen, Aosong Feng, Sangmin Woo, Balasubramaniam Srinivasan, Zhichao Xu, Kang Zhou, Shuai Wang, Haibo Ding, Lin Lee Cheong,
• Abstract要約: 拡散言語モデル (DLMs) は自己回帰生成の魅力的な代替手段として登場した。 本稿では,DLM推論の原理的探索機構であるMEDALを紹介する。 複数のベンチマークで、MEDALは既存の推論戦略よりも最大22.0%改善されている。
• 参考スコア（独自算出の注目度）: 22.7649405246503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) have recently emerged as a compelling alternative to autoregressive generation, offering parallel generation and improved global coherence. During inference, DLMs generate text by iteratively denoising masked sequences in parallel; however, determining which positions to unmask and which tokens to commit forms a large combinatorial search problem. Existing inference methods approximate this search using heuristics, which often yield suboptimal decoding paths; other approaches instead rely on additional training to guide token selection. To introduce a principled search mechanism for DLMs inference, we introduce MEDAL, a framework that integrates Monte Carlo Tree SEarch initialization for Diffusion LAnguage Model inference. We employ Monte Carlo Tree Search at the initialization stage to explore promising unmasking trajectories, providing a robust starting point for subsequent refinement. This integration is enabled by restricting the search space to high-confidence actions and prioritizing token choices that improve model confidence over remaining masked positions. Across multiple benchmarks, MEDAL achieves up to 22.0% improvement over existing inference strategies, establishing a new paradigm for search-based inference in diffusion language models.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、最近、並列生成とグローバルコヒーレンスの改善を提供する自動回帰生成の魅力的な代替品として登場した。 推論中、DLMはマスキングシーケンスを並列に反復的にデノベートすることでテキストを生成するが、どの位置をアンマスクするか、どのトークンをコミットするかは大きな組合せ探索問題を形成する。 既存の推論手法はこの探索をヒューリスティックス(英語版)を用いて近似し、しばしば準最適復号経路を生成する。 DLM推論の原理的探索機構を導入するために,モンテカルロ木階層初期化を拡散Languageモデル推論に組み込むフレームワークであるMEDALを導入する。 初期化段階ではモンテカルロ木探索を用いて、将来有望なアンマスキング軌道を探索し、その後の改良のための堅牢な出発点を提供する。 この統合は、サーチスペースを高信頼動作に制限し、残りのマスク位置よりもモデルの信頼性を向上させるトークン選択を優先順位付けすることで実現される。 複数のベンチマークにおいて、MEDALは既存の推論戦略よりも最大22.0%の改善を実現し、拡散言語モデルにおける検索ベース推論の新しいパラダイムを確立した。

関連論文リスト

• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models [13.433506313486701]
  ツリー検索は、生成モデルとタスク固有の報酬をテスト時に整合させる強力なフレームワークとして登場した。 これらの問題に対処する木探索テスト時間アライメント手法であるTReASUReを提案する。 TReASUReは、パープレキシティ、言語受容性、感情と毒性の制御に関する最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-09-27T06:22:45Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations [22.48125906976824]
  カスケード型組織的ビ表現型ジェネリック検索フレームワークを導入し,カスケード処理を通じてスパース意味IDと高密度ベクトルを統合する。 本手法は,これらの表現をまずスパースIDを生成して交互に生成し,高密度ベクトルの生成を支援する条件として機能する。 推論の間、COBRAは粗大な戦略を採用し、スパースID生成から始まり、生成モデルを介してそれらを密度の高いベクトルに精製する。
  論文  参考訳（メタデータ） (2025-03-04T10:00:05Z)
• I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search [10.718560472954644]
  イントロスペクティブモンテカルロ木探索(Introspective Monte Carlo Tree Search, I-MCTS)は、イントロスペクティブプロセスを通じてツリーノードを反復的に拡張する新しいアプローチである。 我々は,各ノードの解の直接評価を容易にするために,LLM(Large Language Model)ベースの値モデルを統合する。 当社のアプローチでは,強力なオープンソースAutoMLエージェントと比較して,パフォーマンスが6%向上している。
  論文  参考訳（メタデータ） (2025-02-20T16:19:09Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。