論文の概要: PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.21819v1
- Date: Sat, 22 Aug 2026 07:37:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.480209
- Title: PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models
- Title（参考訳）: PatchGate: 凍結ビジョンランゲージモデルにおける本質的なオブジェクトインベントリによる言語化ギャップの狭化
- Abstract要約: 我々は,凍結VLMに固有のプロンプトフリー物体証拠を生成前に抽出する学習自由フレームワークであるPatchGateを提案する。
AMBERでは、PatchGateはオブジェクトレベルの信頼性の両面を改善し、可視対象のカバレッジを49.4から56.0(+13.4%)に増加させ、CHAIRを7.5から6.6(-12.0%)に下げることでオブジェクト幻覚を減らす。
- 参考スコア（独自算出の注目度）: 6.947018407173503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable image captioning in Vision-Language Models (VLMs) requires captions to be both precise and complete, avoiding unsupported object mentions while covering visible objects. Existing training-free methods primarily address the former requirement, suppressing unsupported object words by intervening on model-predicted mentions during generation. Because they operate only on objects the model is already likely to mention, visible objects omitted from the output remain difficult to recover. We propose PatchGate, a training-free framework that extracts prompt-free object evidence intrinsic to a frozen VLM before generation and uses it to narrow the gap between an intrinsic object set and final object mentions. In the first stage, Visual Evidence eXtraction (VEX) reads patch-level lexical evidence from the latter half of LM decoder layers and constructs an image-conditioned object set without any task prompt. In the second stage, Visual-Evidence Inclusion-Exclusion Decoding (VIED) uses this object evidence to calibrate decoding logits, promoting evidence-supported but under-verbalized objects and suppressing weakly supported but over-verbalized objects. On AMBER, PatchGate improves both sides of object-level reliability, increasing visible-object coverage from 49.4 to 56.0 (+13.4%) and reducing object hallucination by lowering CHAIR from 7.5 to 6.6 (-12.0%), without external detectors or fine-tuning and with one extra forward pass.
- Abstract（参考訳）: VLM(Vision-Language Models)の信頼性の高いイメージキャプションでは、キャプションを正確かつ完全なものにする必要がある。
既存のトレーニングフリーメソッドは、主に以前の要件に対処し、世代間モデル予測された言及を介入することで、サポート対象の単語を抑える。
オブジェクトのみを動作させるため、モデルがすでに言及している可能性が高いため、出力から省略された可視オブジェクトは、回復が難しいままである。
PatchGateは、生成前に凍結VLMに固有のプロンプトフリーなオブジェクトエビデンスを抽出し、本質的なオブジェクトセットと最終オブジェクト参照の間のギャップを狭めるためのトレーニングフリーフレームワークである。
第1段階では、Visual Evidence eXtraction (VEX) はLMデコーダの後半層からパッチレベルの語彙的証拠を読み出し、タスクプロンプトなしで画像条件のオブジェクトセットを構築する。
第2段階では、ビジュアルエビデンス・インクルージョン・排他的デコーディング(VIED)は、このオブジェクトエビデンスを使用して、デコードロジットを校正し、エビデンスをサポートするが、非バーバル化されたオブジェクトを宣伝し、弱いサポートを受けたが、過バーバル化されたオブジェクトを抑圧する。
AMBERでは、PatchGateはオブジェクトレベルの信頼性の両面を改善し、可視対象のカバレッジを49.4から56.0(+13.4%)に増加させ、外部検出器や微調整なしでCHAIRを7.5から6.6(-12.0%)に下げ、さらに1回の前方通過で物体の幻覚を減らす。
関連論文リスト
- VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs [10.892846618107392]
対象レベルの幻覚検出のためのトレーニング不要な指標であるVisERを提案する。
ビジュアルエビデンス(Visual Evidence)は、オブジェクトとコンテキストの互換性が画像トークンからのオブジェクト固有のエビデンスによって裏付けられているかどうかを測定する。
Visual Relianceは、生成されたプレフィックスよりもイメージによってオブジェクトがサポートされているかどうかを測定する。
論文 参考訳（メタデータ） (2026-08-31T09:05:22Z) - Hallucinations Leave a Grounding Signature:Verifier-Guided Decoding for Selective Object Correction [36.98361389444117]
大型視覚言語モデル(LVLM)は、画像から欠落している物体を幻覚させる。
Intrinsic Grounding Signature (IGS) に欠落した診断証拠がエンコードされていることを示す。
本稿では、軽量な検証器が各出現するオブジェクトの言及を検査する復号化フレームワークであるVerifier-Guided Decoding (VGD)を提案する。
論文 参考訳（メタデータ） (2026-07-30T08:02:42Z) - ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning [5.0149699000056644]
既存の訓練なしの代替手段は、幻覚を抑制するために検出対象に接頭辞を付ける。
本稿では,下層のキャプションモデルのパラメータを変更することなく,両方の制約を克服する,突発的なポストホック修正フレームワークを提案する。
我々は,MSVD と MSR-VTT の枠組みを,対象となる自動測定値,110 人の被験者による研究,ChatGPT と Gemini との質的比較を用いて検証した。
論文 参考訳（メタデータ） (2026-07-23T08:06:55Z) - Objects Before Words: Object-First Inductive Biases for Grounding Language in Child-View Video [19.989128399393085]
BabyMindは、スパースでノイズの多い監督下での、子供に対する対照的な学習に対するオブジェクト指向バイアスである。
SAYCam-Sでは、BabyMindはラベル付きS15の強制選択精度をCで+2.6ポイント改善し、語彙外分布ベンチマークで一貫した利得を得る。
論文 参考訳（メタデータ） (2026-06-11T07:21:58Z) - SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection [12.404050551208366]
Open-vocabulary Object Detection (OVOD) は、テキストプロンプトを活用することで、オープン世界の未知の物体や未知の物体を検出することを目的としている。
OVCOD-D という名前のベンチマークは、細かなテキスト記述で慎重に選択されたカモフラーグオブジェクトイメージを増補することで構成する。
オープンセット評価設定では,OVCOD-Dベンチマークで56.4のAPを達成する。
論文 参考訳（メタデータ） (2026-03-27T06:37:32Z) - Do Not Leave a Gap: Hallucination-Free Object Concealment in Vision-Language Models [3.8409038268900404]
以前のオブジェクトハイディング攻撃は、リージョン固有の表現の抑制やブロックに依存していた。
我々は,新しいアンフバックグラウンドに一貫性のある物体隠蔽攻撃を提案する。
本手法はトークンの構造と注意の流れを保ち,幻覚を誘発する表現的ヴォイドを避ける。
論文 参考訳（メタデータ） (2026-03-16T21:46:59Z) - ObjectGS: Object-aware Scene Reconstruction and Scene Understanding via Gaussian Splatting [54.92763171355442]
ObjectGSは3Dシーンをセマンティックな理解と統合するオブジェクト認識フレームワークである。
我々はObjectGSがオープンボキャブラリやパン光学のセグメンテーションタスクにおいて最先端の手法より優れていることを示す実験を通して示す。
論文 参考訳（メタデータ） (2025-07-21T10:06:23Z) - Mitigating Object Hallucinations in Large Vision-Language Models through
Visual Contrastive Decoding [125.05295513481035]
本稿では,オリジナルおよび歪曲された視覚入力から出力分布を対比する,シンプルでトレーニングのないVisual Contrastive Decoding(VCD)を紹介する。
提案したVCDは, 対象幻覚の2つの重要な原因である, 統計的偏見と単調な先行性に対する信頼度を効果的に低減する。
実験の結果,付加的なトレーニングや外部ツールの使用がなければ,異なるLVLMファミリーにおける物体幻覚の問題を著しく軽減できることがわかった。
論文 参考訳（メタデータ） (2023-11-28T16:26:35Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳（メタデータ） (2023-09-01T03:34:12Z) - Learning Object-Language Alignments for Open-Vocabulary Object Detection [83.09560814244524]
画像とテキストのペアデータから直接学習する新しいオープン語彙オブジェクト検出フレームワークを提案する。
これにより、画像とテキストのペア上でオープンな語彙オブジェクト検出器を、よりシンプルで効果的な方法で訓練することが可能になります。
論文 参考訳（メタデータ） (2022-11-27T14:47:31Z) - Bridging the Gap between Object and Image-level Representations for
Open-Vocabulary Detection [54.96069171726668]
オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。
本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。
上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
論文 参考訳（メタデータ） (2022-07-07T17:59:56Z) - Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。
クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
論文 参考訳（メタデータ） (2020-10-19T12:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。