論文の概要: UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching
- arxiv url: http://arxiv.org/abs/2602.04344v1
- Date: Wed, 04 Feb 2026 09:13:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.446401
- Title: UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching
- Title(参考訳): UnMaskFork: 決定論的アクションブランチによるマスケ拡散のテスト時間スケーリング
- Authors: Kou Misaki, Takuya Akiba,
- Abstract要約: UnMaskFork(UMF)は、unmaskingトラジェクトリを検索ツリーとして定式化するためのフレームワークであり、生成パスを最適化するためにMonte Carlo Tree Searchを使用している。
UMFは、複雑なコーディングベンチマークで既存のテスト時間スケーリングベースラインを一貫して上回っている。
- 参考スコア(独自算出の注目度): 7.499410407885288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time scaling strategies have effectively leveraged inference-time compute to enhance the reasoning abilities of Autoregressive Large Language Models. In this work, we demonstrate that Masked Diffusion Language Models (MDLMs) are inherently amenable to advanced search strategies, owing to their iterative and non-autoregressive generation process. To leverage this, we propose UnMaskFork (UMF), a framework that formulates the unmasking trajectory as a search tree and employs Monte Carlo Tree Search to optimize the generation path. In contrast to standard scaling methods relying on stochastic sampling, UMF explores the search space through deterministic partial unmasking actions performed by multiple MDLMs. Our empirical evaluation demonstrates that UMF consistently outperforms existing test-time scaling baselines on complex coding benchmarks, while also exhibiting strong scalability on mathematical reasoning tasks.
- Abstract(参考訳): テスト時間スケーリング戦略は、自動回帰大言語モデルの推論能力を高めるために、推論時計算を効果的に活用している。
本研究では,Masked Diffusion Language Models (MDLM) が,反復的かつ非自己回帰的生成プロセスにより,本質的に高度な探索戦略に適応可能であることを示す。
これを活用するために,UnMaskFork (UMF) を提案する。UnMaskForkは,未知の軌道を探索木として定式化し,モンテカルロ木探索を用いて生成経路を最適化するフレームワークである。
確率的サンプリングに依存する標準的なスケーリング手法とは対照的に、UMFは複数のMDLMが行う決定論的部分的アンマスク動作を通じて探索空間を探索する。
我々の経験的評価は、UMFが複雑なコーディングベンチマークで既存のテスト時間スケーリングベースラインを一貫して上回り、数学的推論タスクに強力なスケーラビリティを示すことを示している。
関連論文リスト
- Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳(メタデータ) (2026-02-02T09:14:51Z) - Diffusion Language Model Inference with Monte Carlo Tree Search [22.7649405246503]
拡散言語モデル (DLMs) は自己回帰生成の魅力的な代替手段として登場した。
本稿では,DLM推論の原理的探索機構であるMEDALを紹介する。
複数のベンチマークで、MEDALは既存の推論戦略よりも最大22.0%改善されている。
論文 参考訳(メタデータ) (2025-12-13T04:30:02Z) - Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling [38.27469349005585]
テストタイムスケーリングは、大規模言語モデルの推論能力を高めるための強力なパラダイムである。
テストタイムのスケーリングは、冗長かつ反復的な推論トレースの生成によって本質的に非効率である。
テスト時間スケーリングを高速化する投機的復号法を評価するために設計された最初の包括的なベンチマークを紹介する。
論文 参考訳(メタデータ) (2025-08-30T01:54:55Z) - LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。
この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文 参考訳(メタデータ) (2025-06-06T05:14:04Z) - Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。
本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。
EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2~3倍高速化する。
論文 参考訳(メタデータ) (2025-05-30T17:52:55Z) - Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。
大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。
従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文 参考訳(メタデータ) (2025-04-10T04:09:47Z) - Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search [9.875355690346794]
適応分岐モンテカルロ木探索(AB-MCTS)を提案する。
AB-MCTSは、原則化されたマルチターン探索とエクスプロイトによる繰り返しサンプリングを一般化する。
我々はフロンティアモデルを用いて複雑なコーディングとエンジニアリングのタスクについて評価する。
論文 参考訳(メタデータ) (2025-03-06T13:10:40Z) - Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。
最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。
本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-10-09T15:02:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。