論文の概要: Who Should Lead Decoding Now? Tracking Reliable Trajectories for Ensembling Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.16281v1
• Date: Mon, 15 Jun 2026 06:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.122292
• Title: Who Should Lead Decoding Now? Tracking Reliable Trajectories for Ensembling Masked Diffusion Language Models
• Title（参考訳）: 誰が現在デコーディングをリードすべきか? マスク拡散言語モデル構築のための信頼性の高い軌道追跡
• Authors: Heecheol Yun, Joonhyung Park, Joowon Kim, Eunho Yang,
• Abstract要約: Masked Diffusion Language Modelsは、シーケンス生成の異なるパラダイムとして登場した。 我々は,MDLMが信頼性のある復号軌道を反復的に識別する知識融合フレームワークである$textbfT$rajectory-based $textbfI$terative $textbfE$nsemblingを提案する。
• 参考スコア（独自算出の注目度）: 41.52001799388536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose $\textbf{TIE}$ ($\textbf{T}$rajectory-based $\textbf{I}$terative $\textbf{E}$nsembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.
• Abstract（参考訳）: Masked Diffusion Language Models (MDLM) はシーケンス生成のパラダイムとして登場した。 MDLMの能力と知識のカバー範囲が多様化するにつれて、重要な疑問はどのように知識を組み合わせるかである。 そこで本研究では,MDLMのユニークな復号化ダイナミクスについて検討する。 また,他のモデルから有望な中間状態を注入することで,信頼できない軌道を補正することができる。 この観察から導かれた知識融合フレームワークである$\textbf{TIE}$$$\textbf{T}$rajectory-based $\textbf{I}$terative $\textbf{E}$nsemblingを提案する。 TIEは、解答関連位置上の信頼性のダイナミクスを追跡し、どのモデルがより信頼性の高い軌道をたどるかを判断し、モデルをまたいだ部分的な復号化シーケンスを選択的に転送する。 より有望な軌道上のモデルは、しばしば妄想的なステップによって変化するため、TIEは異なるモデルが生成の異なる段階で相補的な強度に寄与することを可能にする。 TIEはMDLMアンサンブルの未解決問題に対する実践的なアプローチを示唆する。

関連論文リスト

• Uncertainty Quantification for Multimodal Retrieval Augmented Generation [14.789439938448034]
  マルチモーダルおよび検索対応確率信号を用いたモデリングの不確実性は、マルチモーダルRAGシステムにおける推定を改善することを示す。 提案したLeMUQは平均3.8%のAUROC値を増加させる。 本研究は,マルチモーダルな不確実性をモデル化することの重要性を強調し,より信頼性が高く安全なマルチモーダルRAGシステムへのステップを提供する。
  論文  参考訳（メタデータ） (2026-05-28T14:00:32Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• TSGym: Design Choices for Deep Multivariate Time-Series Forecasting [38.12202305030755]
  この作業は、深いMTSFメソッドをそのコアできめ細かいコンポーネントに分解することでギャップを埋める。 MTSFタスクのためのTSGymと呼ばれる新しい自動化ソリューションを提案する。 大規模な実験により、TSGymは既存のMTSF法やAutoML法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-09-21T12:49:31Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。