論文の概要: Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation

• arxiv url: http://arxiv.org/abs/2603.26330v1
• Date: Fri, 27 Mar 2026 11:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.478906
• Title: Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation
• Title（参考訳）: 入力適応深さアグリゲーションを用いた視覚言語ファインチューニングにおける推論税の緩和
• Abstract要約: 視覚的インストラクションデータに対するSFT(Supervised Fine-tuning)は、しばしば視覚言語モデル(VLM)の知覚能力を向上し、推論性能を低下させる。 この劣化が深度表現の障害的アクセスと関係しているかどうかを考察し、固定された深度集合でさえ推論を著しく復元することを示した。 IADAは、クロスディープな入力適応性、モダリティを意識し、低ランクのボトルネックを通じて効率的にパラメータ化できる軽量なメカニズムである。
• 参考スコア（独自算出の注目度）: 55.74376789006731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) on visual instruction data often improves perceptual capabilities in vision-language models (VLMs) while degrading reasoning performance, creating a persistent reasoning tax during post-training. We investigate whether this degradation is related to disrupted access to depth-wise representations, and find that even fixed cross-depth aggregation substantially restores reasoning, suggesting that preserved cross-depth access is an important missing factor in VLM fine-tuning. Building on this observation, we propose Input-Adaptive Depth Aggregation (IADA), a lightweight mechanism that makes cross-depth retrieval input-adaptive, modality-aware, and efficiently parameterized through a low-rank bottleneck. On Qwen3-VL-2B, IADA improves the average reasoning score by 9.5 points and the average perception score by $3.3$ points over LoRA-only fine-tuning with only 0.14M additional parameters, with the strongest gains appearing in parameter-efficient low-rank settings.
• Abstract（参考訳）: 視覚的インストラクションデータに対する教師付き微調整(SFT)は、視覚言語モデル(VLM)の知覚能力を向上すると同時に、推論性能を低下させ、後トレーニング中に永続的な推論税を発生させる。 この劣化が深度表現の破壊的アクセスと関係しているかどうかを考察し、固定された深度集約でさえ推論を著しく復元することを発見し、保存された深度アクセスがVLMの微調整において重要な欠落要因であることを示唆した。 本研究は,入力-適応深度集約(IADA)を提案する。これは,クロスディープ入力を適応し,モダリティを意識し,低ランクのボトルネックを通じて効率的にパラメータ化する軽量な機構である。 Qwen3-VL-2Bでは、平均推論スコアを9.5ポイント改善し、平均認識スコアをわずか0.14MのパラメータでLoRAのみの微調整で3.3ドルとした。

関連論文リスト

• The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval [22.82938587928396]
  多くのRAGシステムは、生の類似度スコアをしきい値にし、スコアの大きさを信頼信号として暗黙的に扱うことにより、検索停止を実装している。 クエリはセマンティックマッチング以上の推論を必要とするため,このプラクティスは体系的に劣化することを示す。 計算コストのかかる代替手段を使わずにこの問題に対処するため、我々は3つの認知層にわたる6つのゼロコストクエリパフォーマンス予測(QPP)メトリクスを大規模に検討した。
  論文  参考訳（メタデータ） (2026-09-14T13:49:24Z)
• Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation [22.888302230938848]
  Vision-Language-Action(VLA)モデルは、事前訓練されたVision-Language Models(VLM)の強力な表現を統合することで、インボディードインテリジェンスにおいて大きな進歩を遂げた。 現在のパラダイムでは、結果として生じるパフォーマンス劣化を必然的に扱い、効率を回復するために微調整や低ランクの修正に頼っていることが多い。 本稿では、VLAプルーニングが性能回復を効果的にする必要がある場合や、このパラダイムが臨界パラメータの無差別プルーニングを隠蔽している場合、除去されたパラメータが真に冗長であるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-30T09:10:31Z)
• Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
  Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。 Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。 詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-01T17:54:37Z)
• Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning [10.473880989969844]
  本稿では,誤った推論軌道を修復することでトークン/ステップレベルの監視マスクを自動構築する差分フィードバックを提案する。 当社のアプローチは、正確なビジョン-推論プロセスアライメントに対して、効果的で低コストなソリューションを提供する。
  論文  参考訳（メタデータ） (2026-03-29T02:31:12Z)
• Smooth Operator: Smooth Verifiable Reward Activates Spatial Reasoning Ability of Vision-Language Model [18.526821056010384]
  視覚言語モデル(VLM)は、3次元シーン理解のための正確な数値予測を実現する上で重要なボトルネックに直面している。 伝統的な強化学習アプローチは、主に相対的なランクに基づいており、しばしば深刻な報酬の分散と勾配不安定に悩まされる。 本稿では,Smooth Numerical Reward Activation (SNRA)演算子とAbsolute-Preserving GRPOフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T16:26:42Z)
• OPV: Outcome-based Process Verifier for Efficient Long Chain-of-Thought Verification [91.15649744496834]
  本稿では、長い思考の連鎖から要約された結果の合理化過程を検証する、アウトカムベースプロセス検証(OPV)を提案する。 OPV は 76.3 と比較して F1 スコアが 83.1 の Qwen3-Max-Preview など,はるかに大きなオープンソースモデルよりも優れています。
  論文  参考訳（メタデータ） (2025-12-11T15:47:38Z)
• IMSE: Efficient U-Net-based Speech Enhancement using Inception Depthwise Convolution and Amplitude-Aware Linear Attention [2.3959703715401903]
  本稿では,系統的に最適化された超軽量ネットワークIMSEを提案する。 1) MET モジュールを Amplitude-Aware Linear Attention (MALA) に、2) Deformable Embedding (DE) モジュールを Inception Depthwise Convolution (IDConv) に置き換える。 実験では、IMSEはパラメータ数を16.8%(0.513Mから0.427M)削減し、PESQ測定値(3.373)の最先端技術に匹敵する競争性能を達成する。
  論文  参考訳（メタデータ） (2025-11-18T14:11:54Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。