論文の概要: CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2603.21077v2
• Date: Fri, 27 Mar 2026 06:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.116791
• Title: CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models
• Title（参考訳）: CoVFT:マルチモーダル大規模言語モデルのためのコンテキスト対応ビジュアルファインタニング
• Authors: Nan Zhou, Huiqun Wang, Yaoyan Zheng, Di Huang,
• Abstract要約: 視覚的な微調整手法は、マルチモーダルタスクにおいて、凍結したベースラインを一貫して上回らないことを示す。 この不安定性は視覚的嗜好の対立から生じ、視覚エンコーダの文脈に依存しない性質は、分岐パラメータの更新を誘導する。 マルチモーダルコンテキストを視覚的適応に明示的に組み込んだコンテキストベクトル抽出(CoVFT)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.73062179456684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) achieve remarkable progress in cross-modal perception and reasoning, yet a fundamental question remains unresolved: should the vision encoder be fine-tuned or frozen? Despite the success of models such as LLaVA and Qwen-VL, inconsistent design choices and heterogeneous training setups hinder a unified understanding of visual fine-tuning (VFT) in MLLMs. Through a configuration-aligned benchmark, we find that existing VFT methods fail to consistently outperform the frozen baseline across multimodal tasks. Our analysis suggests that this instability arises from visual preference conflicts, where the context-agnostic nature of vision encoders induces divergent parameter updates under diverse multimodal context. To address this issue, we propose the Context-aware Visual Fine-tuning (CoVFT) framework, which explicitly incorporates multimodal context into visual adaptation. By integrating a Context Vector Extraction (CVE) and a Contextual Mixture-of-Experts (CoMoE) module, CoVFT decomposes conflicting optimization signals and enables stable, context-sensitive visual updates. Extensive experiments on 12 multimodal benchmarks demonstrate that CoVFT achieves state-of-the-art performance with superior stability. Notably, fine-tuning a 7B MLLM with CoVFT surpasses the average performance of its 13B counterpart, revealing substantial untapped potential in visual encoder optimization within MLLMs.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、相互モーダルな認識と推論において顕著な進歩を遂げるが、根本的な問題は未解決のままである。 LLaVAやQwen-VLのようなモデルの成功にもかかわらず、一貫性のない設計選択と不均一なトレーニング設定は、MLLMにおける視覚的微調整(VFT)の統一的な理解を妨げる。 構成整合ベンチマークにより、既存のVFTメソッドは、マルチモーダルタスク間で凍結されたベースラインを一貫して上回らないことがわかった。 この不安定性は、視覚エンコーダの文脈に依存しない性質が多様なマルチモーダルコンテキスト下での発散パラメータ更新を誘導する視覚的嗜好の対立から生じることを示唆している。 この問題に対処するために,マルチモーダルコンテキストを視覚適応に組み込んだコンテキスト対応ビジュアルファインチューニング(CoVFT)フレームワークを提案する。 Context Vector extract (CVE)とContextual Mixture-of-Experts (CoMoE)モジュールを統合することで、CoVFTは競合する最適化信号を分解し、安定的でコンテキストに敏感なビジュアル更新を可能にする。 12のマルチモーダルベンチマークに対する大規模な実験により、CoVFTは安定性に優れた最先端の性能を達成できることを示した。 特に、CoVFTを用いた7B MLLMの微調整は、平均的な13B性能を上回り、MLLM内のビジュアルエンコーダ最適化において、未解決の可能性が明らかにされている。

関連論文リスト

• VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation [15.053120780189461]
  逐次レコメンデーションのためのマルチモーダルエンコーダとしての視覚言語モデル(VLM)について検討する。 標準コントラスト制御微調整(SFT)は、その固有のモダリティ崩壊を増幅する。 本稿では,VLMの組込み型フレームワークであるVLM2Recを提案する。
  論文  参考訳（メタデータ） (2026-03-18T07:46:30Z)
• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Vision-Centric Activation and Coordination for Multimodal Large Language Models [42.26911585599856]
  マルチモーダルな大言語モデル(MLLM)は、視覚エンコーダからLLMへのイメージ機能を統合し、高度な理解能力を示す。 しかし、メインストリームMLLMは、重要な視覚中心の情報を無視して、テキストトークンの次のトークン予測によってのみ監督される。 本稿では,ビジョン中心のアクティベーションとコーディネーションによってMLLM表現を最適化するVaCoを紹介する。
  論文  参考訳（メタデータ） (2025-10-16T06:38:39Z)
• Visual CoT Makes VLMs Smarter but More Fragile [79.32638667101817]
  チェーン・オブ・ソート(CoT)技術は視覚言語モデル(VLM)における推論を著しく向上させた Visual CoTは、興味のある領域のトリミングや注釈付けなどの明示的なビジュアル編集を推論プロセスに統合する。 視覚摂動下での視覚的CoTロバスト性の最初の体系的評価について述べる。
  論文  参考訳（メタデータ） (2025-09-28T10:19:59Z)
• VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models [82.05514464090172]
  マルチモーダルな大言語モデル(MLLM)は、視覚的およびテキスト的理解の統合を著しく進歩させてきた。 しかし、マルチモーダル入力からコードを生成する能力は依然として限られている。 視覚とコーディング言語モデルをシームレスにマージする統合フレームワークであるVisCodexを紹介します。
  論文  参考訳（メタデータ） (2025-08-13T17:00:44Z)
• MIMIC: Multimodal Inversion for Model Interpretation and Conceptualization [52.66401137323065]
  視覚言語モデル(VLM)の内部表現を可視化するMIMIC(Multimodal Inversion for Model Interpretation and Conceptualization)フレームワークを提案する。 MIMICは、VLMの自己回帰処理のために、ジョイントVLMベースの反転と特徴アライメントの目的を使用する。 可変長自由形VLM出力テキストに対して視覚概念を反転させることによりMIMICを定量的に定性的に評価する。
  論文  参考訳（メタデータ） (2025-08-11T10:36:58Z)
• MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
  MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。 MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:57:16Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。