論文の概要: GeoPID: Decomposing and Steering Visual Information in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.08401v1
• Date: Tue, 06 Oct 2026 14:14:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.023947
• Title: GeoPID: Decomposing and Steering Visual Information in Vision-Language Models
• Title（参考訳）: GeoPID:視覚言語モデルにおける視覚情報の分解とステアリング
• Abstract要約: textscGeoPIDは冗長、Modality-Unique、Synergisticコンポーネントに情報を分解する。 質問が視覚的グラウンド化を強く要求する場合、正しい予測がより強力なビジョン・ユニク成分を示すことを示す。
• 参考スコア（独自算出の注目度）: 5.6528599157866735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While recent vision-language models (VLMs) have shown outstanding performance across diverse applications, they tend to under-use visual information and over-rely on textual context. In this work, we propose \textsc{GeoPID}, a training-free framework that analyzes multimodal information within VLMs from a geometric perspective. \textsc{GeoPID} decomposes information into Redundant, Modality-Unique, and Synergistic components through the geometric relationships between visual and textual representation subspaces. Through an extensive analysis across 22 VLMs and 14 benchmarks, we confirm that correct predictions exhibit stronger vision-unique components when questions strongly require visual grounding. Building on this geometric analysis, we introduce a targeted intervention technique that selectively amplifies visual representations along the vision-unique subspace during inference. As a result, visual grounding capabilities were enhanced without any additional model parameter updates, achieving an average relative accuracy gain of 7.63\%.
• Abstract（参考訳）: 近年の視覚言語モデル(VLM)は様々なアプリケーションにまたがって優れた性能を示してきたが、視覚情報は過小評価され、テキストの文脈で過度に処理される傾向にある。 本研究では,VLM内のマルチモーダル情報を幾何学的視点から分析する学習自由度フレームワークである「textsc{GeoPID}」を提案する。 \textsc{GeoPID} は、視覚的表現部分空間とテキスト的表現部分空間の間の幾何学的関係を通して、冗長成分、モダリティ成分、およびシナジスティック成分に情報を分解する。 22のVLMと14のベンチマークを網羅的に分析することにより、質問が視覚的接地を強く要求する場合、正しい予測がより強力な視覚的一様成分を示すことを確認した。 この幾何学的解析に基づいて、推論中に視覚的一様部分空間に沿って視覚的表現を選択的に増幅するターゲット介入手法を導入する。 その結果、追加のモデルパラメーターを更新することなく視覚的グラウンドリング能力が向上し、平均的な相対的精度が7.63\%向上した。

関連論文リスト

• Vision as Unified Multimodal Generation [73.31482353559736]
  SenseNova-Visionは、テキスト、画像、混合ターゲットにまたがるコンピュータビジョンの命令応答コーパスである。 このモデルは、検出、OCR、キーポイント推定、セグメンテーション、深さ推定、表面正規予測、ポイントマップ、カメラポーズ推定を含む幅広い視覚タスクをカバーする。 実験により、単一の統一モデルが、構造化された視覚的理解、密集した幾何学的予測、セグメンテーション、多視点視覚幾何学にわたる主要なタスク特殊化システムと一致できることが示されている。
  論文  参考訳（メタデータ） (2026-07-07T17:58:33Z)
• Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models [58.9387276447485]
  視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。 一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-18T10:04:22Z)
• Towards Understanding Visual Grounding in Visual Language Models [2.553589584067239]
  ビジュアルグラウンドティング(Visual Grounding)とは、モデルがテキスト記述と一致する視覚入力内の領域を識別する能力である。 現代汎用視覚言語モデル(VLM)研究の重要領域について概観する。
  論文  参考訳（メタデータ） (2025-09-12T15:33:49Z)
• VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
  視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。 VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。 様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-10-21T18:10:26Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。