論文の概要: Can Linguistic Reasoning Vectors Enhance Multimodal Reasoning Ability?

• arxiv url: http://arxiv.org/abs/2609.31140v1
• Date: Fri, 25 Sep 2026 11:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.364491
• Title: Can Linguistic Reasoning Vectors Enhance Multimodal Reasoning Ability?
• Title（参考訳）: 言語推論ベクトルはマルチモーダル推論能力を高めるか?
• Abstract要約: Vision-Language Models (VLM) は、視覚モジュールとマルチモーダルアライメントを備えた事前訓練されたLarge Language Models (LLM) を拡張することで構築される。 このマルチモーダルスケーリングは、元来ベースLLMにエンコードされた言語側の推論能力を劣化させることが多い。 本稿では,基本LPMからVLMへの推論能力の伝達を行う軽量なベクトル干渉法であるLIFT(Language-side reasonIng and Transfer)を提案する。
• 参考スコア（独自算出の注目度）: 9.766696693707509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Vision-Language Models (VLMs) are built by extending pretrained Large Language Models (LLMs) with visual modules and multimodal alignment. However, this multimodal scaling often degrades the language-side reasoning ability originally encoded in the base LLM. While the base LLM retains usable reasoning after scaling, the aligned VLM itself cannot reliably access this ability. Therefore, recovering the degraded reasoning capability in VLMs would benefit more from seeking help from the base LLM than from the VLM alone. Motivated by this, we propose LIFT (Language-side reasonIng Facilitation and Transfer), a lightweight vector-intervention method that transfers reasoning capability from the base LLM to the VLM without retraining the backbone. LIFT defines Reasoning Vectors as answer-token hidden-state differences between a Reasoner path with an explicit reasoning trace and a Solver path without it, and injects these vectors into language-side activations of the target VLM. LIFT further supports learnable vector adaptation while keeping the VLM backbone frozen. We evaluate LIFT on two VLMs across six reasoning benchmarks, comparing Reasoning Vectors extracted from the base LLM and from the aligned VLM under matched protocols. Results show that LLM-derived vectors consistently outperform VLM-derived vectors, confirming that the base LLM is a more effective source for recovering reasoning. LIFT partially recovers degraded reasoning through lightweight language-side interventions. Further analyses show that Reasoning Vectors influence intermediate reasoning behavior rather than merely altering final answers. The source code will be released soon.
• Abstract（参考訳）: ほとんどの視覚言語モデル(VLM)は、視覚モジュールとマルチモーダルアライメントを備えた事前訓練された大規模言語モデル(LLM)を拡張して構築される。 しかし、このマルチモーダルスケーリングは、元来ベースLLMにエンコードされた言語側の推論能力を劣化させることが多い。 ベースLSMはスケーリング後に使用可能な推論を保っているが、VLM自体が確実にこの能力にアクセスできない。 したがって、VLMの劣化した推論能力の回復は、VLM単独からの助けを求めることよりも、ベースLSMからの助けを求めることの恩恵を受けることになる。 そこで本研究では,基本LPMからVLMへ推論能力を伝達する軽量なベクトル干渉法であるLIFT(Language-side reasonIng Facilitation and Transfer)を提案する。 LIFTは、Reasoning Vectorsを、明確な推論トレースを持つReasonerパスとSolverパスの間に解答の隠れ状態の差として定義し、これらのベクトルをターゲットのVLMの言語側アクティベーションに注入する。 LIFTはさらに、VLMバックボーンの凍結を維持しながら、学習可能なベクター適応をサポートする。 提案手法は,2つのVLM上でのLIFTの評価を行い,ベースLSMから抽出したReasoning Vectorsと一致したVLMから抽出したReasoning Vectorsを比較した。 その結果, LLM 由来のベクトルは VLM 由来のベクトルより一貫して優れており, 基底 LLM が推論の回復に有効な情報源であることが確認された。 LIFTは、軽量言語側の介入によって部分的に劣化した推論を回復する。 さらに分析したところ、推論ベクトルは最終的な答えを単に変更するのではなく、中間的推論行動に影響を及ぼすことが示された。 ソースコードはまもなくリリースされる予定だ。

関連論文リスト

• Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models [0.8318686824572802]
  VLM(Vision-Language Models)は、強力な事前学習型大規模言語モデル(LLM)をコア推論バックボーンとして活用することで、急速に進歩している。 本研究は,LLMバックボーンの変化が下流VLMタスクのパフォーマンスに与える影響について,制御的,系統的に検討した。
  論文  参考訳（メタデータ） (2026-04-13T04:44:42Z)
• RoboAlign: Learning Test-Time Reasoning for Language-Action Alignment in Vision-Language-Action Models [58.83401587988675]
  RoboAlignは視覚言語アクションモデル(VLA)を訓練し、マルチモーダル理解を低レベルのアクションに変換する。 我々のキーとなる考え方は、ゼロショット自然言語推論を用いてアクショントークンをサンプリングし、この推論を強化学習(RL)を用いて洗練し、アクション精度を向上させることである。 RoboAlignは、それぞれLIBERO、CALVIN、現実世界の環境におけるSFTベースラインよりも17.5%、18.9%、106.6%の性能向上を実現している。
  論文  参考訳（メタデータ） (2026-03-22T17:57:55Z)
• LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
  本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。 LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
  論文  参考訳（メタデータ） (2025-07-29T02:34:28Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
  LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。 バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。 複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
  論文  参考訳（メタデータ） (2024-01-02T18:30:51Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。