論文の概要: Boosting Visual Knowledge-Intensive Training for LVLMs Through Causality-Driven Visual Object Completion

• arxiv url: http://arxiv.org/abs/2508.04453v1
• Date: Wed, 06 Aug 2025 13:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.743779
• Title: Boosting Visual Knowledge-Intensive Training for LVLMs Through Causality-Driven Visual Object Completion
• Title（参考訳）: 因果性駆動型視覚オブジェクト補完によるLVLMの視覚的知識集中トレーニングの強化
• Authors: Qingguo Hu, Ante Wang, Jia Song, Delai Qiu, Qingsong Liu, Jinsong Su,
• Abstract要約: LVLM(Large Vision-Language Models)は近年大きな進歩を遂げている。 しかし、彼らのパフォーマンスは、深い視覚的知覚を必要とするタスクでは依然として不足している。 本稿では,新しい視覚的知識集約型タスクに基づく自己改善フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.84673296137996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have experienced significant advancements in recent years. However, their performance still falls short in tasks requiring deep visual perception, such as identifying subtle differences between images. A potential cause is the scarcity of visual knowledge in popular instruction-tuning corpora, resulting in inadequate visual perception and reasoning capabilities. To address this challenge, we introduce a self-improvement framework grounded in a novel visual knowledge-intensive task, \underline{C}ausality-driven \underline{V}isual object \underline{C}ompletion (CVC). This task requires LVLMs to infer the masked object in an image based on its \textit{causal} relationships with the other visible information. We first obtain rich examples cheaply through our automated instance construction pipeline, without relying on sophisticated LVLMs (\textit{e.g.}, GPT-4V) or human assistance. Then, LVLMs effectively self-improve through trial and error learning using these created instances. Our experiments demonstrate substantial gains across four challenging specialized tasks and four widely-used comprehensive benchmarks. Especially on specialized tasks, our method achieves an average improvement of 5.4\% and 4.0\% compared to the corresponding baselines when utilizing LLaVA-1.5-7B and LLaVA-1.5-13B, respectively. The code is available at https://github.com/XMUDeepLIT/CVC.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は近年大きな進歩を遂げている。 しかし、画像間の微妙な違いを識別するなど、深い視覚的知覚を必要とするタスクでは、そのパフォーマンスは依然として不足している。 潜在的な原因は、一般的な指導指導コーパスにおける視覚的知識の不足であり、視覚的知覚と推論能力が不十分である。 この課題に対処するために、新しい視覚的知識集約型タスクである \underline{C}ausality-driven \underline{V}isual object \underline{C}ompletion (CVC) に基づく自己改善フレームワークを導入する。 このタスクは、他の可視情報との \textit{causal} の関係に基づいて、画像中のマスクされたオブジェクトを推論するLVLMを必要とする。 まず、高度なLVLM(\textit{e g }, GPT-4V)や人的支援に頼ることなく、自動化されたインスタンス構築パイプラインを通じて、豊富なサンプルを安価に取得する。 次に、LVLMは、これらの生成されたインスタンスを使用した試行錯誤学習を通じて、効果的に自己改善する。 我々の実験は、4つの挑戦的な特殊タスクと4つの広く使われている総合的なベンチマークで大幅に向上したことを示す。 特に,LLaVA-1.5-7BとLLaVA-1.5-13Bをそれぞれ利用した場合に,対応するベースラインと比較して平均5.4 %,4.0 %の改善が達成される。 コードはhttps://github.com/XMUDeepLIT/CVCで公開されている。

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• Learning to Localize Objects Improves Spatial Reasoning in Visual-LLMs [38.02017186215372]
  大きな言語モデル(LLM)を視覚領域タスクに統合し、視覚的なLLM(V-LLM)を実現することにより、視覚言語タスクにおける例外的なパフォーマンスを実現している。 しかし、既存のV-LLMは空間的推論と局所化認識が弱い。 画像空間座標に基づく微調整目標が空間認識をV-LLMに注入する方法について検討する。
  論文  参考訳（メタデータ） (2024-04-11T03:09:34Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Finer: Investigating and Enhancing Fine-Grained Visual Concept Recognition in Large Vision Language Models [57.95366341738857]
  詳細な分析では、命令調整されたLVLMはモダリティギャップを示し、同じ概念に対応するテキスト入力と視覚入力の相違を示す。 我々は,LVLMの細粒度視覚理解能力を評価するために,複数の属性中心評価ベンチマークであるFinerを提案し,説明可能性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-26T05:43:51Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• VIPHY: Probing "Visible" Physical Commonsense Knowledge [22.00069189468524]
  視覚言語モデル(VLM)は視覚的推論タスクにおいて顕著な性能を示した。 視覚的」身体的知識を習得する能力を評価する。 以上の結果から,モデルと人的パフォーマンスの間には深刻なギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T02:06:25Z)
• Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training [150.35927365127176]
  視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。 自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。 新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
  論文  参考訳（メタデータ） (2020-02-25T03:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。