論文の概要: GAVEL: Grounded Caption Error Verification and Localization

• arxiv url: http://arxiv.org/abs/2606.26923v1
• Date: Thu, 25 Jun 2026 12:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.262731
• Title: GAVEL: Grounded Caption Error Verification and Localization
• Title（参考訳）: GAVEL:グラウンドド・キャプションエラーの検証とローカライゼーション
• Abstract要約: 本稿では,画像テキストペアの検証,説明,ローカライゼーションを共同で行うタスクであるGAVELを紹介する。 実験によると、強力なクローズドソースモデルでさえGAVELに苦戦しているのに対し、教師付きベースラインはグラウンド化と説明のメトリクスで一貫した改善をもたらす。
• 参考スコア（独自算出の注目度）: 11.955182101975744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) often produce hallucinated or inconsistent outputs, where text and images are not properly aligned. Addressing this issue requires not only detecting misalignment but also explaining the discrepancy and localizing its visual evidence. We introduce GAVEL (Grounded Caption Error Verification and Localization), a task that jointly addresses verification, explanation, and localization for image-text pairs. To support systematic evaluation, we also present a corresponding dataset and benchmark. We further train a supervised baseline on the human-annotated training split to assess whether GAVEL provides learnable supervision for these abilities. Experiments show that even strong closed-source models struggle on GAVEL, while the supervised baseline yields consistent improvements across grounding and explanation metrics.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、しばしば、テキストと画像が適切に一致しない、幻覚的または一貫性のない出力を生成する。 この問題に対処するには、誤認識を検出するだけでなく、その相違を説明し、その視覚的証拠をローカライズする必要がある。 GAVEL(Grounded Caption Error Verification and Localization)は,画像テキストペアの検証,説明,ローカライゼーションを共同で行うタスクである。 システム評価を支援するため、対応するデータセットとベンチマークも提示する。 我々はさらに、GAVELがこれらの能力に対して学習可能な監督を提供するかどうかを評価するために、人手によるトレーニング分割に関する教師付きベースラインを訓練する。 実験によると、強力なクローズドソースモデルでさえGAVELに苦戦しているのに対し、教師付きベースラインはグラウンド化と説明のメトリクスで一貫した改善をもたらす。

関連論文リスト

• Graph Alignment Topology as an Inductive Bias for Grounding Detection [14.219133766480695]
  大規模言語モデル(LLM)は、生成した命題がソース文書に関連付けられているかどうかを明示的に検証するよりも、分布的に妥当な継続を生成するように最適化されている。 この帰納バイアスは一般化を可能にするが、参照に関して応答が基底になっているかどうかを符号化しない。 我々は、アライメントトポロジを誘導バイアスとして活用し、メッセージパッシングを用いたアライメント構造をモデル化するためにグラフニューラルネットワーク(GNN)を訓練する。 本手法は, GPT-4o などの基礎的 LLM を含む, 比較されたすべての手法よりも優れた4つの多様な幻覚と質問応答データセットに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2026-05-21T18:49:32Z)
• When Visuals Aren't the Problem: Evaluating Vision-Language Models on Misleading Data Visualizations [29.03749623289173]
  視覚言語モデル (VLM) は, 推論誤りの微粒な分類法を基礎とした, 誤解を招くビジュアル・キャプション・ペアについて評価する。 我々は、現実世界の視覚化と、人間が書いたキュレートされた誤解を招くキャプションを組み合わせたベンチマークを開発する。
  論文  参考訳（メタデータ） (2026-03-23T05:34:47Z)
• Rethinking VLMs for Image Forgery Detection and Localization [55.32700985102152]
  本稿では,視覚言語モデル(VLM)をフル活用して画像偽造検出・局所化(IFDL)タスクを支援する方法について検討する。 これらの知見に基づいて,IFDL-VLMと呼ばれる新しいIFDLパイプラインを提案する。 実験結果から, 検出, 局所化, 解釈可能性において, 常に新しい最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-03-13T12:21:31Z)
• What's Left Unsaid? Detecting and Correcting Misleading Omissions in Multimodal News Previews [31.373823254968315]
  事実が正しいとしても、ソーシャルメディアのニュースプレビューは解釈のドリフトを引き起こす。 この秘密の害は明示的な誤報よりも検出が難しいが、未発見のままである。 我々は、プレビューベースとコンテキストベースの理解を分離し、シミュレートするマルチステージパイプラインを開発した。
  論文  参考訳（メタデータ） (2026-01-09T06:29:19Z)
• Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
  BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。 実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-12T01:59:23Z)
• Diagnosing Bottlenecks in Data Visualization Understanding by Vision-Language Models [25.564425023762045]
  現在の視覚言語モデル(VLM)は、基本的なデータ可視化理解タスクに苦戦している。 VLMの失敗は、データビジュアライゼーションにおける視覚情報のエンコード方法、視覚と言語モジュール間の情報転送方法、言語モジュール内での情報処理方法の制限に起因するか? 我々は,データ可視化理解タスクのスイートであるFUGUを開発した。
  論文  参考訳（メタデータ） (2025-10-02T18:29:07Z)
• Context-Informed Grounding Supervision [102.11698329887226]
  コンテキストインフォームド・グラウンド(Context-Informed Grounding Supervision, CINGS)は、モデルが応答に先立って関連するコンテキストでトレーニングされる訓練後の監督である。 実験により, CINGSで訓練したモデルでは, テキスト領域と視覚領域の両方において, より強い基底が示されることがわかった。
  論文  参考訳（メタデータ） (2025-06-18T14:13:56Z)
• Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment [64.49170817854942]
  本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。 我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。 また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
  論文  参考訳（メタデータ） (2023-12-05T20:07:34Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。