論文の概要: Visual Scaffolding: Toward Native Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2610.25247v1
• Date: Sun, 18 Oct 2026 13:06:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:40:16.215101
• Title: Visual Scaffolding: Toward Native Multimodal Reasoning
• Title（参考訳）: Visual Scaffolding: ネイティブなマルチモーダル推論を目指して
• Abstract要約: 我々は、ネイティブなマルチモーダル推論を、ネイティブな視覚表現と言語が再利用可能な中間状態を共同で持つ推論として定義する。 軽量レトリバーはネイティブな視覚的特徴を選択し、進化するチェーン・オブ・シントに直接組み込む。 我々のモデルは66.43%と72.50%の精度を達成し、評価されたGPT-5.5とGemini 3.1 Proのベースラインを上回った。
• 参考スコア（独自算出の注目度）: 28.261492131049753
• License:
• Abstract: The success of chain-of-thought (CoT) in complex reasoning can be attributed to a textual scaffolding effect: explicit intermediate results can be examined, reused, and composed to support subsequent reasoning, much as scaffolding supports a building under construction. However, mainstream multimodal LLMs lack an equivalent scaffold for visual distinctions that are difficult to express in concise verbal descriptions. We therefore ask: Can native visual representations become first-class citizens alongside language, providing a visual scaffold for reasoning? We define native multimodal reasoning as reasoning in which native visual representations and language jointly carry reusable intermediate states. As a concrete implementation, the visual scaffolding mechanism we proposed lets the MLLM autonomously initiate a retrieval action at any reasoning step. A lightweight retriever selects native visual features, which are then incorporated directly into the evolving CoT and remain available to subsequent steps. To evaluate this mechanism under controlled visual demands, we introduce NMR-Bench, comprising Burden Counting and Path Tracing. With 88M added parameters (approximately 2%) on Qwen3-VL-4B-Thinking, our model achieves 66.43% and 72.50% accuracy, respectively, surpassing the evaluated GPT-5.5 and Gemini 3.1 Pro baselines. Controlled interventions show that changing selected visual content affects task accuracy and can redirect subsequent visual selection even when intervening text is held fixed. These findings show that native visual states can function as intermediate reasoning material and point toward reusable scaffolds for additional modalities.
• Abstract（参考訳）: 複雑な推論におけるチェーン・オブ・シント(CoT)の成功は、建設中の建物を支える足場と同様に、明示的な中間結果を調べ、再利用し、後続の推論を支援するために構成することによる。 しかし、主流のマルチモーダル LLM には、簡潔な言語記述では表現が難しい視覚的区別のための足場が欠落している。 ネイティブな視覚表現は、言語と共に第一級の市民になり、推論のための視覚的な足場を提供することができるか? 我々は、ネイティブなマルチモーダル推論を、ネイティブな視覚表現と言語が再利用可能な中間状態を共同で持つ推論として定義する。 具体的実装として提案した視覚足場機構により,MLLMは任意の推論ステップで自律的に検索動作を開始することができる。 軽量レトリバーは、ネイティブな視覚的特徴を選択し、それを進化するCoTに直接組み込んで、その後のステップで使用することができる。 このメカニズムを制御された視覚的要求下で評価するために,Burden CountingとPath Tracingを含むNMR-Benchを導入する。 Qwen3-VL-4B-シンキングに88Mのパラメータを追加し(約2%)、評価されたGPT-5.5とGemini 3.1 Proのベースラインを超え、それぞれ66.43%と72.50%の精度を達成した。 制御された介入は、選択された視覚内容の変更がタスクの精度に影響を与え、インターベンションテキストが固定された場合でも、その後の視覚選択をリダイレクトできることを示している。 これらの結果から, 自然視状態は中間的推論材料として機能し, 再利用可能な足場へ向けての視点として機能することが示唆された。

関連論文リスト

• SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows [14.32094457932353]
  MLLM(Multimodal large language model)は、タスク関連の視覚的証拠よりも言語的先行性に頼ることで、視覚的推論の疑問に答えることが多い。 本稿では,明示的連鎖と潜在的推論を橋渡しするトレーニングフレームワークであるStructured Latent Visual Reasoning(SLVR)を提案する。
  論文  参考訳（メタデータ） (2026-10-01T23:04:31Z)
• GLaQ: Grounding Latent Queries in Visual Evidence for Multimodal Reasoning [27.232897918541067]
  連鎖推論は多モーダルな大言語モデルの問題解決能力を大幅に改善した。 しかし、微細な視覚的証拠は、テキストベースの推論ステップをまたいだ保存と再利用が難しいままである。 GLaQは、逐次ラテントロールアウトをコンテキスト条件付きクエリの固定セットに置き換える、接地型ラテントクエリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-16T04:01:08Z)
• Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models [56.11961584000622]
  MLLM(Multimodal large language model)は、しばしば細粒度の視覚的推論において失敗する。 質問条件付き視覚的エビデンス浄化フレームワークであるLatEnt Noise maSk (Lens)を提案する。 視覚トークンが現在の質問をサポートし、復号時にそれらを保存するレンズスコア。
  論文  参考訳（メタデータ） (2026-06-29T11:44:09Z)
• Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning [82.86343313807158]
  我々は、視覚的証拠が推論プロセスにどのように、いつ導入されるかが中心的な課題であると主張している。 この知見により,言語モデルが推論プロセスを制御するマルチモーダル推論フレームワークCSMRを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:43:13Z)
• LanteRn: Latent Visual Structured Reasoning [7.141402207573525]
  本稿では,視覚的推論を潜在空間で直接実行可能にするフレームワークであるLanteRnを紹介する。 LanteRnは、推論中に連続的な視覚的思考の埋め込みを生成し、参加する能力を持つ視覚言語変換器を増強する。 我々はLanteRnを3つの知覚中心ベンチマーク(VisCoT, V*, Blink)で評価する。
  論文  参考訳（メタデータ） (2026-03-26T16:41:59Z)
• Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
  MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。 ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。 基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
  論文  参考訳（メタデータ） (2025-05-24T12:33:52Z)
• Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
  本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。 TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。 提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
  論文  参考訳（メタデータ） (2025-03-17T16:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。