論文の概要: Information-Guided Frontier Decoding: Contextual Utility-Driven Commitment in dMLLMs

• arxiv url: http://arxiv.org/abs/2608.26641v1
• Date: Thu, 27 Aug 2026 05:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.25069
• Title: Information-Guided Frontier Decoding: Contextual Utility-Driven Commitment in dMLLMs
• Title（参考訳）: 情報誘導フロンティアデコーディング: dMLLMにおけるコンテキスト的ユーティリティ駆動のコミットメント
• Abstract要約: Information-Guided Frontier Decodingは、トレーニング不要のデコーディング戦略である。 トークンの信頼度、近隣の不確実性、構造的コミットメントリスクを用いて候補者をランク付けする。 脆弱な構造トークンを遅らせながら、信頼性の高いセマンティックアンカーの早期コミットを促進する。
• 参考スコア（独自算出の注目度）: 5.167210035701369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding quality in diffusion multimodal language models (dMLLMs) depends heavily on the order in which masked tokens are committed. Existing confidence-based strategies prioritize locally easy tokens, but confidence does not necessarily reflect contextual usefulness. As a result, structurally easy tokens such as punctuation may be committed before informative semantic anchors, weakening context propagation and increasing error accumulation. We propose Information-Guided Frontier Decoding (IGFD), a training-free decoding strategy that ranks candidates using token confidence, neighborhood uncertainty, and structural commitment risk. IGFD encourages early commitment of reliable semantic anchors while delaying fragile structural tokens, improving contextual support during decoding. A dynamic candidate frontier further constrains token selection to locally expandable regions under the same decoding budget. The method requires no additional training, auxiliary models, or extra forward passes. Experiments across multimodal understanding, reasoning, grounding, and hallucination benchmarks show that IGFD consistently outperforms existing decoding strategies across the majority of benchmarks and diffusion MLLM backbones under identical decoding budgets.
• Abstract（参考訳）: 拡散多モード言語モデル(dMLLM)の復号性は、マスクトークンのコミット順序に大きく依存する。 既存の信頼性ベースの戦略は、局所的な容易なトークンを優先するが、信頼性は必ずしも文脈的有用性を反映しない。 結果として、情報的セマンティックアンカーの前に句読点などの構造的に簡単なトークンをコミットし、コンテキストの伝播を弱め、エラーの蓄積を増大させる。 我々は,トークン信頼度,近傍の不確実性,構造的コミットメントリスクを用いて候補をランク付けする,トレーニング不要なデコーディング戦略であるIGFDを提案する。 IGFDは、信頼性の高いセマンティックアンカーの早期コミットを奨励し、脆弱な構造トークンを遅延させ、デコーディング時のコンテキストサポートを改善する。 動的候補フロンティアは、同じデコード予算の下で、トークン選択を局所的に拡張可能な領域に制限する。 この方法は追加の訓練、補助モデル、追加の前方通過を必要としない。 マルチモーダル理解、推論、接地、幻覚のベンチマークによる実験では、IGFDはベンチマークの大部分と拡散MLLMバックボーンで、同一の復号予算の下で既存の復号戦略を一貫して上回っている。

関連論文リスト

• Context-Aware Cluster Decoding: Semantic Anchor-Driven Coherence in dMLLMs [7.894740505622926]
  拡散多モード大言語モデル (dMLLM) は、意味的ドリフトと反復によってマーレされた長い形式の出力を生成する。 我々は,ソフトマックスの信頼度と近接する近傍の乗算合成により,各マスキング位置をスコアする訓練不要な復号法であるtextbfContext-textbfAware textbfCluster textbfDecodingを提案する。
  論文  参考訳（メタデータ） (2026-08-23T11:16:04Z)
• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• TrustLDM: Benchmarking Trustworthiness in Language Diffusion Models [41.45630253571065]
  言語拡散モデル(LDM)に適した総合的信頼度ベンチマークを導入する。 我々は、静的ポストコンテキストの複数のカテゴリで異なるLCMアーキテクチャの安全性、プライバシ、公正性を評価した。 私たちの仕事は、コミュニティがより信頼できるLCDを構築するのに役立つかもしれません。
  論文  参考訳（メタデータ） (2026-04-15T02:19:49Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
  Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。 高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。 本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
  論文  参考訳（メタデータ） (2025-11-26T06:38:37Z)
• Accelerating Diffusion LLM Inference via Local Determinism Propagation [27.751279909685604]
  LocalLeapは、トレーニング不要の適応並列デコード戦略である。 6.94$times$スループットの改善を実現し、デコード手順を元の要件の14.2%に短縮する。
  論文  参考訳（メタデータ） (2025-10-08T14:39:34Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。