論文の概要: Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training
- arxiv url: http://arxiv.org/abs/2611.14942v1
- Date: Wed, 11 Nov 2026 02:44:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.988671
- Title: Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training
- Title(参考訳): テキストオンリー推論における創発的視覚形思考とマルチモーダルトレーニング
- Abstract要約: 入力が視覚的である場合でも、マルチモーダルトレーニングが言語モデルがどのように考えるかを検証する。
隠れ状態空間における視覚言語軸を同定し、その射影を推論で近似する。
この効果は方向特化され、階層化され、メンタルローテーション、ペーパーフォールディング、パースペクティブテイクといったメンタル言語タスクにまで拡張され、タスクの難易度、推論深度、更新負荷によって説明されない。
- 参考スコア(独自算出の注目度): 83.8795429935607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Does multimodal training shape how a language model thinks, even when the input is text only? We test this with targeted causal ablations across 10 multimodal configurations from 6 model families, with matched text-only backbones and cross-family transfer controls. We contrast spatial-imagery tasks that invite mental scene construction with symbol-manipulation tasks solvable by symbolic rules alone. We identify a vision-language axis in hidden-state space and ablate its projection at inference. In Chameleon-7B, this ablation drops accuracy on BIG-Bench Hard (BBH) navigate by 27.6 pp while leaving boolean expressions intact (+5.6 pp), a 33.2 pp double dissociation. The effect is direction-specific and layer-localized, extends to mental-simulation tasks such as mental rotation, paper folding, and perspective taking, and is not explained by task difficulty, reasoning depth, or sequential update load. Together, these results reveal emergent vision-shaped thinking (EVT): text-only reasoning that causally recruits representations introduced or strengthened by vision-language training, without assuming an image-like internal format. The measured effect is spatially concentrated at 7-8B and broadens to non-spatial visual attribute binding in the tested 32B configuration. In dual-path unified models (BAGEL, Janus-Pro), the causal handle localizes to the generation pathway as a compact one-dimensional carrier. The understanding pathway also encodes spatial information in a higher-rank, probe-decodable form, but is not the causal handle. To separate decodability from causal use, we analyze concentration, alignment, and semantic location. These diagnostics explain why behavior, probing, and intervention can diverge. Multimodal training thus reshapes the geometry of text-only reasoning, not just how visual input is processed.
- Abstract(参考訳): 入力がテキストのみである場合でも、マルチモーダルトレーニングは言語モデルがどのように考えるかを形作っているか?
6つのモデルファミリーから10個のマルチモーダル構成を対象とし、テキストのみのバックボーンとクロスファミリー転送制御でこれを検証した。
シンボリックルールだけで解決可能なシンボル操作タスクを用いて、メンタルシーン構築を招待する空間イメージタスクとは対照的である。
隠れ状態空間における視覚言語軸を同定し、その射影を推論で近似する。
Chameleon-7Bでは、このアブレーションはBIG-Bench Hard (BBH)の精度を27.6 ppで下げ、ブール式はそのまま(+5.6 pp)、33.2 ppで解離する。
この効果は方向特異的で層局在であり、精神的な回転、紙の折り畳み、パースペクティブ・テイクといったメンタル・シミュレート・タスクにまで拡張され、タスクの難易度、推論深さ、シーケンシャル・アップデート・ロードによって説明されない。
これらの結果は、画像のような内部フォーマットを仮定することなく、視覚言語学習によって導入された、あるいは強化された表現を因果的に採用するテキストのみの推論である、創発的な視覚的思考(EVT)を明らかにする。
測定された効果は 7-8B で空間集中し、テストされた 32B 構成で非空間的視覚的属性結合を拡大する。
二経路統一モデル(BAGEL, Janus-Pro)では、因果ハンドルは1次元のコンパクトキャリアとして生成経路に局在する。
理解経路はまた、高階でプローブ分解可能な形で空間情報を符号化するが、因果ハンドルではない。
因果的使用からデオードビリティを分離するために,濃度,アライメント,意味的位置を解析した。
これらの診断は、なぜ行動、調査、介入が分岐するのかを説明する。
したがって、マルチモーダルトレーニングは、視覚的な入力がどのように処理されるかだけではなく、テキストのみの推論の幾何学を再評価する。
関連論文リスト
- Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning [10.01204973388565]
Visual Cipher Benchは、4つのカテゴリにわたる40のオリジナルのビジュアルパズルのコレクションである。
各パズルは、白黒の線画を1つから3つだけ提供し、最小限の命令を与える。
Visual Cipher Benchはエージェントの長時間の視覚的推論を測定するための厳密なベンチマークを提供する。
論文 参考訳(メタデータ) (2026-11-12T14:33:46Z) - Mental Imagery That Matters: Curing Latent Collapse in Multimodal Reasoning [64.08869813786629]
心的シミュレーションは、内部の視覚状態の構築と更新によって推論する能力であり、柔軟性のある人間の認知の中心である。
潜在マルチモーダル推論は、連続的な視覚的潜在ブロックでテキストをインターリーブすることで、この機能への有望な経路を提供する。
生成した視覚的潜伏剤の落下、置換、シャッフルは、モデル自身の最終回答確率にわずかにしか影響しないことを示す。
AnchorSimは、モデルを訓練して生成した視覚的潜伏剤を連続的に生成する、対照的な蒸留フレームワークである。
論文 参考訳(メタデータ) (2026-11-07T02:56:51Z) - More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training [16.366211781892694]
ネイティブなマルチモーダル事前トレーニングは、テキストとマルチモーダルデータのスクラッチから単一のモデルをトレーニングする。
視覚的信号がスケーリング行動をどのように形成し、視覚的理解を超えた支援能力を実現するかを検討する。
論文 参考訳(メタデータ) (2026-10-14T02:33:34Z) - Genesis: Visual Augmentation Primitives for Multimodal Chain-of-Thought Reasoning [54.91540375064964]
思考の連鎖推論は言語空間に限られており、視覚的証拠のそれぞれの段階を固定することは滅多にない。
我々は、最先端のビジョン生成モデルを活用するトレーニングデータ拡張パイプライン、textbfVisual Augmentation Primitives (VAP)を導入する。
実験によると、VAP上に構築された4Bモデルは8Bベースラインを超え、モデルが32Bにスケールするにつれて、パフォーマンスが一貫して改善されている。
論文 参考訳(メタデータ) (2026-10-11T12:19:59Z) - Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。
既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。
我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
論文 参考訳(メタデータ) (2026-01-11T08:25:34Z) - Enhancing Spatial Reasoning through Visual and Textual Thinking [45.0026939683271]
空間的推論タスクは,2次元空間と3次元空間の空間的関係を推論することを目的としている。
近年,視覚言語モデル (VLM) は急速に発展してきたが,空間推論の課題に苦戦している。
視覚的思考とテキスト思考を同時に行うことによって空間的推論を向上させる手法を提案する。
論文 参考訳(メタデータ) (2025-07-28T05:24:54Z) - Spatial Mental Modeling from Limited Views [71.57140964322559]
新しいMindCubeベンチマークでは、3,268枚の画像に21,154件の質問があった。
MindCubeを用いて、視覚言語モデル(VLM)がいかに堅牢な空間精神モデルを構築するかを評価する。
次に、VLMが空間的メンタルモデルに近似する3つのアプローチを探索する。
論文 参考訳(メタデータ) (2025-06-26T16:38:19Z) - Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models [58.64449765678416]
思考のランドスケープ(LoT)を導入し、任意の複数選択データセット上で特定の推論手法で推論軌跡を検査する。
LoTは、強いモデルと弱いモデル、正解と誤解、および異なる推論タスクを区別する。
トラジェクトリの正しさを評価する軽量検証器にLoTを適用することで、この利点を実証する。
論文 参考訳(メタデータ) (2025-03-28T06:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。