論文の概要: Let's Think with Images Efficiently! An Interleaved-Modal Chain-of-Thought Reasoning Framework with Dynamic and Precise Visual Thoughts
- arxiv url: http://arxiv.org/abs/2603.21754v1
- Date: Mon, 23 Mar 2026 09:47:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.595666
- Title: Let's Think with Images Efficiently! An Interleaved-Modal Chain-of-Thought Reasoning Framework with Dynamic and Precise Visual Thoughts
- Title（参考訳）: 画像を効果的に考えよう! 動的で精密な視覚的思考を持つインターリーブ・モーダル・オブ・ソート推論・フレームワーク
- Authors: Xu Liu, Yongheng Zhang, Qiguang Chen, Yao Li, Sheng Wang, Libo Qin,
- Abstract要約: 本稿では2つの重要なコンポーネントを組み込んだ動的かつ精密なビジュアル思考(DaP-ICoT)を紹介する。
DaP-ICoTは挿入された画像の数を大幅に減少させ、72.6%のトークン消費を減少させた。
- 参考スコア（独自算出の注目度）: 27.18301671129608
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, Interleaved-modal Chain-of-Thought (ICoT) reasoning has achieved remarkable success by leveraging both multimodal inputs and outputs, attracting increasing attention. While achieving promising performance, current ICoT methods still suffer from two major limitations: (1) Static Visual Thought Positioning, which statically inserts visual information at fixed steps, resulting in inefficient and inflexible reasoning; and (2) Broken Visual Thought Representation, which involves discontinuous and semantically incoherent visual tokens. To address these limitations, we introduce Interleaved-modal Chain-of-Thought reasoning with Dynamic and Precise Visual Thoughts (DaP-ICoT), which incorporates two key components: (1) Dynamic Visual Thought Integration adaptively introduces visual inputs based on reasoning needs, reducing redundancy and improving efficiency. (2) Precise Visual Thought Guidance ensures visual semantically coherent and contextually aligned representations. Experiments across multiple benchmarks and models demonstrate that DaP-ICoT achieves state-of-the-art performance. In addition, DaP-ICoT significantly reduces the number of inserted images, leading to a 72.6% decrease in token consumption, enabling more efficient ICoT reasoning.
- Abstract（参考訳）: 近年、インターリーブ・モーダル・チェーン・オブ・ワット(ICoT)推論は、マルチモーダル入力とアウトプットの両方を活用することで大きな成功を収め、注目を集めている。
将来性のある性能を実現する一方で,現状のICoT手法には,(1)固定ステップで静的に視覚情報を挿入し,非効率かつ非フレキシブルな推論をもたらす静的視覚的思考位置決め,(2)不連続かつ意味的に不整合な視覚的トークンを含むブローク視覚的思考表現という2つの大きな制限がある。
これらの制約に対処するために、動的・精密な視覚的思考(DaP-ICoT)を用いたインターリーブド・モーダル・チェーン・オブ・ソート推論(Interleaved-modal Chain-of-Thought reasoning)を導入し、2つの重要なコンポーネントを組み込んだ: 1)動的視覚的思考統合(Dynamic Visual Thought Integration)は、推論要求に基づいた視覚的入力を適応的に導入し、冗長性を低減し、効率を向上する。
2)視覚的思考指導は視覚的意味的一貫性と文脈的に整合した表現を保証する。
複数のベンチマークやモデルに対する実験では、DaP-ICoTが最先端のパフォーマンスを達成することが示されている。
加えて、DaP-ICoTは挿入された画像の数を大幅に削減し、72.6%のトークン消費が減少し、より効率的なICoT推論を可能にした。
関連論文リスト
- CrystaL: Spontaneous Emergence of Visual Latents in MLLMs [55.34169914483764]
CrystaL(Crystallized Latent Reasoning)は,静止画像と劣化画像を処理するための2つの経路を持つ単一ステージフレームワークである。
CrystaLは2つの経路にまたがる注意パターンと予測分布を明確に調整することで、潜在表現をタスク関連視覚意味論に結晶化する。
知覚集約ベンチマークの実験では、CrystaLは最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-24T15:01:30Z) - Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space [46.05748768260013]
テスト時間動的マルチモーダル遅延推論フレームワークを提案する。
信頼誘導の潜在ポリシー勾配最適化を、詳細な推論のために潜在シンクトークンに採用する。
7つのマルチモーダル推論ベンチマークと様々なモデルアーキテクチャによる実験により、DMLRは推論性能と知覚性能を大幅に改善することが示された。
論文 参考訳（メタデータ） (2025-12-14T10:07:45Z) - ChainV: Atomic Visual Hints Make Multimodal Reasoning Shorter and Better [59.29940512530982]
推論プロセスに視覚的ヒントを動的に統合するフレームワークChainVを提案する。
提案手法は,特に算数集約ベンチマークにおいて,推論精度と効率を大幅に向上させる。
論文 参考訳（メタデータ） (2025-11-21T10:11:17Z) - Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。
GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
論文 参考訳（メタデータ） (2025-09-03T08:13:52Z) - GreedyPrune: Retenting Critical Visual Token Set for Large Vision Language Models [5.025353943896242]
GreedyPruneは、セマンティックサリエンシと視覚的多様性を最適化するために設計された、トレーニング不要のビジュアルトークンプルーニングアルゴリズムである。
GreedyPruneは様々なマルチモーダルタスクやモデルにまたがって最先端の精度を実現し、エンドツーエンドの推論遅延を大幅に低減することを示す。
論文 参考訳（メタデータ） (2025-06-16T07:21:11Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-05-24T15:47:49Z) - Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。
TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。
提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
論文 参考訳（メタデータ） (2025-03-17T16:45:12Z) - PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。
しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。
PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2024-10-09T07:13:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。