論文の概要: Decoding Large Language Diffusion Models with Foreseeing Movement

• arxiv url: http://arxiv.org/abs/2512.04135v1
• Date: Wed, 03 Dec 2025 14:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.809744
• Title: Decoding Large Language Diffusion Models with Foreseeing Movement
• Title（参考訳）: 予測動作による大規模言語拡散モデルのデコード
• Authors: Yichuan Mo, Quan Chen, Mingjie Li, Zeming Wei, Yisen Wang,
• Abstract要約: LLDM(Large Language Diffusion Models)は、自動回帰モデルよりも並列化推論と制御可能な世代を生成するフレキシブルなデコードメカニズムの恩恵を受ける。 しかし、既存の方法は主に、長期的な影響を見越しながら、局所的な影響に焦点を当てている。 本稿では,FDM(Foreseeing Decoding Method)を提案する。
• 参考スコア（独自算出の注目度）: 36.326379474672564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Diffusion Models (LLDMs) benefit from a flexible decoding mechanism that enables parallelized inference and controllable generations over autoregressive models. Yet such flexibility introduces a critical challenge: inference performance becomes highly sensitive to the decoding order of tokens. Existing heuristic methods, however, focus mainly on local effects while overlooking long-term impacts. To address this limitation, we propose the Foreseeing Decoding Method (FDM), a novel approach that integrates both local and global considerations to unlock the full potential, employing a search-based strategy to enable effective optimization in discrete spaces. Furthermore, by analyzing the consistency of chosen tokens in the full decoding process, we develop a variant, FDM with Acceleration (FDM-A), which restricts deep exploration to critical steps identified as the exploration and balance circumantences. Extensive experiments across diverse benchmarks and model architectures validate the scalability of FDM and demonstrate the superior efficiency-performance trade-off achieved by FDM-A. Our work might potentially provide a principled step toward more powerful decoding methods for LLDMs.
• Abstract（参考訳）: LLDM(Large Language Diffusion Models)は、自動回帰モデルよりも並列化推論と制御可能な世代を生成するフレキシブルなデコードメカニズムの恩恵を受ける。 推論性能はトークンのデコード順序に非常に敏感になる。 しかし、既存のヒューリスティックな手法は、主に局所的な影響に焦点をあて、長期的影響を見落としている。 この制限に対処するため,局所的およびグローバル的考察を統合して全可能性を解き放つ新しい手法であるForeseeing Decoding Method (FDM)を提案する。 さらに, 完全復号化過程において選択されたトークンの整合性を解析することにより, 深層探査を探索・平衡状況として識別する臨界ステップに制限するFDM (FDM-A) の変種を開発した。 様々なベンチマークやモデルアーキテクチャにわたる大規模な実験は、FDMのスケーラビリティを検証し、FDM-Aによって達成された優れた効率と性能のトレードオフを示す。 我々の研究は、LLDMのより強力な復号法への原則的な一歩となるかもしれない。

関連論文リスト

• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• ImCoref-CeS: An Improved Lightweight Pipeline for Coreference Resolution with LLM-based Checker-Splitter Refinement [45.01372641622595]
  InmCoref-CeSは,拡張教師付きモデルとLarge Language Models(LLM)ベースの推論を統合する新しいフレームワークである。 まず、教師付きニューラルネットワークの性能境界を押し上げる改良CR法(textbfImCoref)を提案する。 マルチロールチェッカースプリッターエージェントとして機能するLCMを用いて、候補参照とコア参照結果の検証を行う。
  論文  参考訳（メタデータ） (2025-10-11T14:48:08Z)
• SG-LDM: Semantic-Guided LiDAR Generation via Latent-Aligned Diffusion [0.11184789007828977]
  Lidarポイントクラウド合成は、ディープラーニングパイプラインを拡大するための有望なソリューションを提供する。 既存の方法は、非条件のライダーポイントクラウド生成に焦点を合わせ、現実世界のアプリケーションの可能性を見越している。 本研究では,セマンティック誘導ライダー拡散モデルであるSG-LDMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T08:13:04Z)
• QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [6.0636611835869205]
  マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。 大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。 いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-17T14:07:11Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。