論文の概要: Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space

• arxiv url: http://arxiv.org/abs/2601.20339v2
• Date: Thu, 05 Feb 2026 02:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.791311
• Title: Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
• Title（参考訳）: 生成順序とトークン空間における共同探索による拡散言語モデルデコーディングの改善
• Authors: Yangyi Shen, Tianjian Feng, Jiaqi Han, Wen Wang, Tianlang Chen, Chunhua Shen, Jure Leskovec, Stefano Ermon,
• Abstract要約: 拡散言語モデル(DLM)は、多くの可能なデコード軌道を探索できる順序に依存しない生成を提供する。 生成順序とトークン値を共同で検索することで,この空間を探索する。
• 参考スコア（独自算出の注目度）: 110.80564213032729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) offer order-agnostic generation that can explore many possible decoding trajectories. However, current decoding methods commit to a single trajectory, limiting exploration in trajectory space. We introduce Order-Token Search to explore this space through jointly searching over generation order and token values. Its core is a likelihood estimator that scores denoising actions, enabling stable pruning and efficient exploration of diverse trajectories. Across mathematical reasoning and coding benchmarks, Order-Token Search consistently outperforms baselines on GSM8K, MATH500, Countdown, and HumanEval (3.1%, 3.8%, 7.9%, and 6.8% absolute over backbone), matching or surpassing diffu-GRPO post-trained d1-LLaDA. Our work establishes joint search as a key component for advancing decoding in DLMs.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、多くの可能なデコード軌道を探索できる順序に依存しない生成を提供する。 しかし、現在の復号法は1つの軌道にコミットし、軌道空間での探索を制限する。 生成順序とトークン値を共同で検索することで,この空間を探索する。 その中核は、様々な軌道の効率的な探索と安定な刈り取りを可能にし、行動を評価する可能性推定器である。 数学的推論とコーディングのベンチマークを通じて、Order-Token SearchはGSM8K、MATH500、Countdown、HumanEvalのベースライン(3.1%、3.8%、7.9%、および6.8%)、diffu-GRPOのポストトレーニングされたd1-LLaDAのマッチング、あるいは超越している。 我々の研究は、DLMにおける復号化を進める重要な要素として、共同探索を確立している。

関連論文リスト

• Increasing LLM Coding Capabilities through Diverse Synthetic Coding Tasks [41.75017840131367]
  大規模言語モデル(LLM)は、コード生成において素晴らしい可能性を示しています。 800k近い命令推論コードテスト四重項を生成するスケーラブルな合成データ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-27T10:54:25Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Planning In Natural Language Improves LLM Search For Code Generation [5.370466208990696]
  自然言語における問題解決のための新しい探索アルゴリズムであるPlanSearchを提案する。 PlanSearchはHumanEval+、MBPP+、LiveCodeBenchで強力な結果を示している。 すべてのモデル、検索アルゴリズム、および分析されたベンチマークにおいて、検索によるパフォーマンス向上を正確に予測できることが示される。
  論文  参考訳（メタデータ） (2024-09-05T17:44:49Z)
• D2LLM: Decomposed and Distilled Large Language Models for Semantic Search [18.63768158439252]
  D2LLMs-Decomposed and Distilled LLMs for semantic search。 クロスエンコーダを効率的なバイエンコーダに分解し,マルチヘッド・アテンションとインタラクション・エミュレーション・モジュールによるポーリングと統合する。 実験の結果,D2LLMは3つのタスクにまたがるすべての指標において,主要なベースラインを5つ超えていることがわかった。
  論文  参考訳（メタデータ） (2024-06-25T04:03:04Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。