論文の概要: Don't Just Look, Intervene: Perturbation Based Region Labeling for VQA Images

• arxiv url: http://arxiv.org/abs/2609.13228v1
• Date: Tue, 01 Sep 2026 20:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.66087
• Title: Don't Just Look, Intervene: Perturbation Based Region Labeling for VQA Images
• Title（参考訳）: 見るなよ、Intervene:VQA画像のための摂動に基づく地域ラベル
• Abstract要約: CSGR(Counterfactual Search for Grounding Regions)について紹介する。 CSGRはスケーラブルなパイプラインであり、候補領域を提案し、それらを摂動させ、応答感度への影響を測定し、この証拠を裁判官に集約し、VQAデータ内の応答クリティカルな領域を近似する。 CSGRアノテーションが有用な監視信号を含むかどうかを評価するため,既存の3つのグラウンド・アウェア・トレーニングルーチンに接続する。
• 参考スコア（独自算出の注目度）: 7.9388526873453324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) should rely on visual evidence that directly determines the correct answer, but supervision for grounding visual reasoning is often expensive to obtain manually or tied to dataset-specific annotation primitives. We instead introduce model-causal visual evidence as an annotation target, defined as the set of image regions whose counterfactual intervention changes a model's answer distribution for a given image-question pair. Based on this principle, we introduce Counterfactual Search for Grounding Regions (CSGR). CSGR is a scalable pipeline that proposes candidate regions, perturbs them, measures their effect on answer sensitivity, and aggregates this evidence across multiple judges to approximate answer-critical regions in VQA data. To assess whether CSGR annotations contain a useful supervision signal, we plug them into three existing grounding-aware training routines: attention steering, Visual CoTfinetuning, and latent visual reasoning. These experiments test whether the proposed annotation scheme can provide a useful supervision signal across multiple ways of consuming region labels, rather than introducing a new way of using them. Across competing automatic region-labeling mechanisms, CSGR annotations provide the most consistent gains over Cross Entropy-only finetuning in both in-domain and out-of-domain evaluations, indicating that the proposed labeling scheme captures useful region-level information.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、正しい答えを直接決定する視覚的証拠に依存するべきであるが、視覚的推論の基盤となる監督は、手動で取得したり、データセット固有のアノテーションプリミティブと結びつくのにしばしばコストがかかる。 そこで本研究では,モデル因果的視覚的エビデンスをアノテーションのターゲットとして導入し,ある画像探索対に対するモデル応答分布を変化させた画像領域の集合として定義する。 本稿では,この原則に基づき,地すべり地域 (CSGR) の事実上の探索について紹介する。 CSGRはスケーラブルなパイプラインであり、候補領域を提案し、それらを摂動させ、応答感度への影響を測定し、この証拠を複数の裁判官に集約し、VQAデータ内の応答クリティカルな領域を近似する。 CSGRアノテーションが有用な監視信号を含むかどうかを評価するため,注意ステアリング,視覚的CoTfinetuning,潜時視覚推論の3つの既存のトレーニングルーチンにそれらをプラグインする。 これらの実験は、提案手法が、新しい使用方法を導入するのではなく、地域ラベルを消費する複数の方法において有用な監視信号を提供できるかどうかを検証する。 CSGRアノテーションは、競合する領域ラベル機構全体にわたって、ドメイン内およびドメイン外の両方でクロスエントロピーのみの微調整よりも一貫した利得を提供し、提案手法が有用な領域レベルの情報を取得することを示す。

関連論文リスト

• Rethinking Feature Alignment in Generalist Graph Anomaly Detection: A Relational Fingerprint-based Approach [60.199985286210904]
  Generalist Graph Anomaly Detection (GAD)は、グラフ固有のリトレーニングなしで、見えないグラフ上の異常を検出することを目的としている。 既存のアプローチは主に、異なる機能セマンティクスを無視したドメイン間の異種データの整合性に焦点を当てている。 We propose Fingerprint-based generalist GAD approach (ReFi-GAD)。 ReFi-GADは14のデータセットの実験において,最先端の手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-25T05:12:26Z)
• NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples [1.096626056612224]
  Inference Provenance Graphs (IPGs) を用いた推論前駆体分析フレームワークであるNeuroTraceを紹介する。 IPGは、モデルの前方通過中にアクティベーション動作とパラメータ誘起データフローの両方をキャプチャする異種グラフである。 攻撃中, マルチアタック, クロススリート転送設定下での逆例検出のためのIPGベース検出器の評価を行った。
  論文  参考訳（メタデータ） (2026-04-15T22:23:40Z)
• Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models [77.3748853516374]
  視覚言語モデルのための学習不要なモデル固有のグラウンドリング手法を提案する。 モデルの次トーケン分布のエントロピーを計算し、それを視覚トークン埋め込みにバックプロパタイズしてエントロピー勾配のレバレンスマップを得る。 次に、複数のコヒーレント領域を抽出・ランク付けし、マルチエビデンスクエリをサポートし、空間エントロピー停止規則付き反復的なズーム・アンド・リグラウンド手順を導入する。
  論文  参考訳（メタデータ） (2026-04-09T16:51:42Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• ProtoVQA: An Adaptable Prototypical Framework for Explainable Fine-Grained Visual Question Answering [30.65960340061612]
  プロトタイプに基づくモデリングは意味論的意味のある領域における予測を基礎にすることで解釈可能性を示す。 本稿では,推論アンカーとして機能する質問認識型プロトタイプを学習する統合フレームワークであるProtoVQAを紹介する。 提案手法は,視覚言語的アライメントスコア (VLAS) を用いて, モデルに付随する領域が地中真実とどのように一致しているかを測るものである。
  論文  参考訳（メタデータ） (2025-09-20T13:12:08Z)
• MedGround-R1: Advancing Medical Image Grounding via Spatial-Semantic Rewarded Group Relative Policy Optimization [19.70803794316208]
  医用画像グラウンドディング(MIG)は、テキスト記述に基づいて、医療画像内の特定の領域をローカライズする。 MIGの既存のビジョンランゲージモデル(VLM)は、大量のチェーン・オブ・ソート(CoT)推論アノテーションを持つスーパービジョンファインチューニング(SFT)に依存していることが多い。 本研究では,CoT推論アノテーションを使わずにモデルをトレーニングするための空間意味的回帰グループ相対ポリシー最適化を提案する。
  論文  参考訳（メタデータ） (2025-07-01T21:51:42Z)
• Contrastive Region Guidance: Improving Grounding in Vision-Language Models without Training [79.27663870280038]
  Contrastive Region Guidance (CRG) は、オープンソースの視覚言語モデルで視覚的プロンプトに応答できる訓練不要のガイダンス手法である。 領域アノテーションが提供されると、CRGはViP-Benchで最大11.1%精度が向上する。 また,空間推論へのCRGの適用性を示すとともに,What'sUpでは10%の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-04T18:55:30Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection [86.69077525494106]
  非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。 既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。 本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-19T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。