論文の概要: Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2604.05497v1
• Date: Tue, 07 Apr 2026 06:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.668525
• Title: Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
• Title（参考訳）: 拡散を考える:拡散多モーダル言語モデルにおける視覚領域推論の罰と指針
• Authors: Keuntae Kim, Mingyu Kang, Yong Suk Choi,
• Abstract要約: 拡散大言語モデル (dLLM) は自己回帰(AR) LLM の代替として期待されている。 我々は,dMLLMが視覚入力を十分に基礎づけることなく,未熟な最終回答を生成する傾向があることを示す。 これらの制約に対処するために、位置とステップのペナルティ(PSP)と視覚推論ガイダンス(VRG)を提案する。
• 参考スコア（独自算出の注目度）: 3.9189409002585553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) are emerging as promising alternatives to autoregressive (AR) LLMs. Recently, this paradigm has been extended to multimodal tasks, leading to the development of diffusion multimodal large language models (dMLLMs). These models are expected to retain the reasoning capabilities of LLMs while enabling faster inference through parallel generation. However, when combined with Chain-of-Thought (CoT) reasoning, dMLLMs exhibit two critical issues. First, we observe that dMLLMs often generate the final answer token at a very early timestep. This trend indicates that the model determines the answer before sufficient reasoning, leading to degraded reasoning performance. Second, during the initial timesteps, dMLLMs show minimal dependency on visual prompts, exhibiting a fundamentally different pattern of visual information utilization compared to AR vision-language models. In summary, these findings indicate that dMLLMs tend to generate premature final answers without sufficiently grounding on visual inputs. To address these limitations, we propose Position and Step Penalty (PSP) and Visual Reasoning Guidance (VRG). PSP penalizes tokens in later positions during early timesteps, delaying premature answer generation and encouraging progressive reasoning across timesteps. VRG, inspired by classifier-free guidance, amplifies visual grounding signals to enhance the model's alignment with visual evidence. Extensive experiments across various dMLLMs demonstrate that our method achieves up to 7.5% higher accuracy while delivering more than 3x speedup compared to reasoning with four times more diffusion steps.
• Abstract（参考訳）: 拡散大言語モデル (dLLM) は自己回帰(AR) LLM の代替として期待されている。 近年、このパラダイムはマルチモーダルタスクに拡張され、拡散マルチモーダル大言語モデル(dMLLM)の開発につながっている。 これらのモデルは、並列生成による推論を高速化しながら、LLMの推論能力を維持することが期待されている。 しかし、Chain-of-Thought(CoT)推論と組み合わせると、dMLLMは2つの重要な問題を示す。 まず、dMLLMは、非常に早い段階で最終応答トークンを生成することが多いことを観察する。 この傾向は、十分な推論の前にモデルが答えを決定することを示し、劣化した推論性能をもたらす。 第2に、初期段階において、dMLLMは視覚的プロンプトへの依存を最小限にし、ARビジョン言語モデルと比較して、視覚情報の利用パターンが根本的に異なることを示す。 以上より,dMLLMは視覚入力を十分に基礎づけることなく,未熟な最終回答を産み出す傾向が示唆された。 これらの制約に対処するために、位置とステップのペナルティ(PSP)と視覚推論ガイダンス(VRG)を提案する。 PSPは後続の段階においてトークンをペナライズし、早期の回答生成を遅らせ、タイムステップをまたいだ進歩的推論を奨励する。 VRGは、分類器なしのガイダンスにインスパイアされ、視覚的根拠との整合性を高めるために、視覚的グラウンドング信号を増幅する。 各種dMLLMを用いた大規模実験により,4倍の拡散速度で推算した場合に比べて,最大7.5%の精度で3倍以上の高速化が達成された。

関連論文リスト

• Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
  Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。 VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
  論文  参考訳（メタデータ） (2026-03-27T12:22:13Z)
• Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs [55.61018839017648]
  CoT(Chain-of- Thought)推論は、複雑な推論タスクにおいて、MLLM(Multimodal large language model)を大幅に改善した。 既存のアプローチは、主に長いテキスト推論軌道に依存し、安定した視覚的注意ポリシーを学ぶための限られたメカニズムを提供する。 地域レベルの視覚的注意に基づく報酬を導入する強化学習フレームワークを用いて訓練された視覚的推論モデルであるSAYOを提案する。
  論文  参考訳（メタデータ） (2026-02-09T03:33:23Z)
• Vision-aligned Latent Reasoning for Multi-modal Large Language Model [82.26044667101011]
  VaLR(Vision-aligned Latent Reasoning)は、思考の連鎖の推論ステップの前に動的に視覚対応の潜在トークンを生成するフレームワークである。 VaLRは、MLLMの中間埋め込みを視覚エンコーダのものと整合させることにより、推論中の視覚的知識の保存を訓練する。
  論文  参考訳（メタデータ） (2026-02-04T12:04:02Z)
• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• Think Then Embed: Generative Context Improves Multimodal Embedding [51.76690812535934]
  本稿では,ユニバーサル・マルチモーダル・エンベディング (UME) のためのThink-Then-Embed (TTE) フレームワークを提案する。 強力なMLLM推論器を利用することで、MMEB-V2ベンチマークで最先端のパフォーマンスを達成し、大規模な社内データセットでトレーニングされたプロプライエタリモデルを上回った。
  論文  参考訳（メタデータ） (2025-10-06T16:53:56Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。