論文の概要: Genesis: Visual Augmentation Primitives for Multimodal Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2610.15565v1
• Date: Sun, 11 Oct 2026 12:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:56:09.915016
• Title: Genesis: Visual Augmentation Primitives for Multimodal Chain-of-Thought Reasoning
• Title（参考訳）: Genesis: マルチモーダル連鎖推論のためのビジュアル拡張プリミティブ
• Abstract要約: 思考の連鎖推論は言語空間に限られており、視覚的証拠のそれぞれの段階を固定することは滅多にない。 我々は、最先端のビジョン生成モデルを活用するトレーニングデータ拡張パイプライン、textbfVisual Augmentation Primitives (VAP)を導入する。 実験によると、VAP上に構築された4Bモデルは8Bベースラインを超え、モデルが32Bにスケールするにつれて、パフォーマンスが一貫して改善されている。
• 参考スコア（独自算出の注目度）: 54.91540375064964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent multimodal large language models achieve promising results on visual reasoning tasks, approaching human-level performance on existing STEM benchmarks. However, these capabilities degrade under complex real-world scenes. We identify that chain-of-thought reasoning remains largely confined to the linguistic space, rarely anchoring each step in visual evidence. The main cause is the absence of such data during training. In this work, we introduce a training data augmentation pipeline, \textbf{Visual Augmentation Primitives} (VAP), which leverages state-of-the-art vision generative models to synthesize diverse photorealistic training samples and corresponding reasoning text. VAP introduces some basic operators and applies them to a seed image and gets a variant. It also constructs coherent multimodal reasoning chains throughout the generation process. Such training data force models to perceive visual content and perform logical reasoning according to them at every step. We further introduce multimodal chain-of-thought rubric-based reinforcement learning to enhance this. It rewards not only text reasoning but also visual reasoning by scoring intermediate reasoning steps for logical validity, completeness, and consistency. Moreover, we construct the UNREAL benchmark to systematically evaluate visual reasoning on hyperrealistic scenes across controllable difficulty levels. Experiments show that a 4B model built on this framework surpasses 8B baselines, with performance improving consistently as the model scales to 32B, validating the scaling law for visual reasoning.
• Abstract（参考訳）: 近年のマルチモーダルな大規模言語モデルは、既存のSTEMベンチマークにおける人間レベルの性能にアプローチして、視覚的推論タスクにおいて有望な結果を達成する。 しかし、これらの能力は複雑な現実世界のシーンで劣化する。 チェーンオブ思考の推論は言語空間に限られており、視覚的証拠として各ステップを固定することは滅多にない。 主な原因は、トレーニング中にそのようなデータがないことである。 本研究では、最先端の視覚生成モデルを利用して、多様なフォトリアリスティックトレーニングサンプルとそれに対応する推論テキストを合成するトレーニングデータ拡張パイプラインである「textbf{Visual Augmentation Primitives}」(VAP)を導入する。 VAPはいくつかの基本演算子を導入し、それらをシードイメージに適用し、変種を得る。 また、生成過程を通してコヒーレントなマルチモーダル推論鎖を構成する。 このようなトレーニングデータにより、モデルは視覚的コンテンツを知覚し、各ステップでそれらに従って論理的推論を行う。 さらに,これを強化するために,マルチモーダル・チェーン・オブ・シンクリックに基づく強化学習を導入する。 それは、テキスト推論だけでなく、論理的妥当性、完全性、一貫性の中間的推論ステップを評価することで、視覚的推論にも報いる。 さらに、UNREALベンチマークを構築し、制御可能な難易度にわたって超現実的シーンの視覚的推論を体系的に評価する。 実験によると、このフレームワーク上に構築された4Bモデルは、8Bベースラインを超え、モデルが32Bにスケールするにつれて、パフォーマンスが一貫して改善され、視覚的推論のスケーリング法則が検証される。

関連論文リスト

• Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
  MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。 結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。 マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
  論文  参考訳（メタデータ） (2026-04-08T07:48:07Z)
• See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs [24.90876091319589]
  視覚的マルチモーダル推論のための反復的,トレーニング不要,プラグアンドプレイフレームワークを提案する。 私たちのキーとなるアイデアは、視覚的なエビデンスでテスト時の各推論ステップを監督することです。 本手法はTreeBenchを16.5%-29.5%改善し,RH-AUCを13.7%向上させる。
  論文  参考訳（メタデータ） (2026-02-25T02:13:59Z)
• More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models [17.431298099935344]
  大規模言語モデル(LLM)において、推論が重要な機能として現れている。 近年の研究では、視覚言語モデル(VLM)への推論の拡張が試みられている。 本研究は、マルチモーダル推論の二重性を明らかにし、他の基本的な視覚的問題に対する認識障害につながった。 本稿では,視覚的接地軌道に対する推論過程を明確に把握する,シンプルかつ効果的な手法であるビジョン・アンコレッド・ポリシー・オプティマイズ(VAPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:37:47Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。