論文の概要: Causal-HalBench: Uncovering LVLMs Object Hallucinations Through Causal Intervention

• arxiv url: http://arxiv.org/abs/2511.10268v1
• Date: Fri, 14 Nov 2025 01:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.785472
• Title: Causal-HalBench: Uncovering LVLMs Object Hallucinations Through Causal Intervention
• Title（参考訳）: Causal-HalBench: 因果干渉によるLVLM物体幻覚の発見
• Authors: Zhe Xu, Zhicai Wang, Junkang Wu, Jinda Lu, Xiang Wang,
• Abstract要約: LVLM(Large Vision-Language Models)は、しばしば物体の幻覚に悩まされ、画像中の物体の存在について誤った判断を下す。 我々はLVLMのオブジェクト認識シナリオに因果解析を導入し、構造因果モデル(Structure Causal Model: SCM)を確立する。 カウサル・ハルベンチ(Causal-HalBench)は、カウンターファクトのサンプルで特別に構築され、包括的な因果メトリクスと統合されたベンチマークである。
• 参考スコア（独自算出の注目度）: 18.08509160653814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) often suffer from object hallucination, making erroneous judgments about the presence of objects in images. We propose this primar- ily stems from spurious correlations arising when models strongly associate highly co-occurring objects during train- ing, leading to hallucinated objects influenced by visual con- text. Current benchmarks mainly focus on hallucination de- tection but lack a formal characterization and quantitative evaluation of spurious correlations in LVLMs. To address this, we introduce causal analysis into the object recognition scenario of LVLMs, establishing a Structural Causal Model (SCM). Utilizing the language of causality, we formally de- fine spurious correlations arising from co-occurrence bias. To quantify the influence induced by these spurious correla- tions, we develop Causal-HalBench, a benchmark specifically constructed with counterfactual samples and integrated with comprehensive causal metrics designed to assess model ro- bustness against spurious correlations. Concurrently, we pro- pose an extensible pipeline for the construction of these coun- terfactual samples, leveraging the capabilities of proprietary LVLMs and Text-to-Image (T2I) models for their genera- tion. Our evaluations on mainstream LVLMs using Causal- HalBench demonstrate these models exhibit susceptibility to spurious correlations, albeit to varying extents.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、しばしば物体の幻覚に悩まされ、画像中の物体の存在について誤った判断を下す。 このプライマーイリーは、列車の走行中に高共起物体を強く関連付けるモデルが、視覚的コンテキストに影響された幻覚物体に繋がるときに生じる突発的相関に由来する。 現在のベンチマークでは、主に幻覚脱接合に焦点を当てているが、LVLMにおけるスプリラス相関の形式的特徴と定量的評価は欠如している。 これを解決するために,LVLMのオブジェクト認識シナリオに因果解析を導入し,構造因果モデル(Structure Causal Model, SCM)を確立する。 因果関係の言語を用いることで,共起バイアスから生じる補間的相関関係を正式に除去する。 カウサル・ハルベンチ(Causal-HalBench)は,これらのスプリアス・コレラ・イオンによる影響を定量化するために,反ファクト・サンプルを用いて構築され,スプリアス・相関に対するモデルロ-バスタネスを評価するために設計された総合因果指標と統合されたベンチマークである。 同時に,本手法は,LVLMとテキスト・ツー・イメージ(T2I)モデルの機能を有効活用して,これらの集合的サンプルを構築するための拡張可能なパイプラインをプロポーズする。 Causal-HalBenchを用いた主流LVLMの評価は,これらのモデルが様々な範囲において,刺激的相関に対する感受性を示すことを示した。

関連論文リスト

• A Causal Adjustment Module for Debiasing Scene Graph Generation [28.44150555570101]
  我々は、歪んだ分布間の因果関係をモデル化するために因果推論技術を用いる。 提案手法により,ゼロショット関係の合成が可能となり,そのような関係を認識できるモデルの性能が向上する。
  論文  参考訳（メタデータ） (2025-03-22T20:44:01Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• Context De-confounded Emotion Recognition [12.037240778629346]
  コンテキストアウェア感情認識(CAER)は、対象者の感情状態を文脈情報で知覚することを目的としている。 長年見過ごされてきた問題は、既存のデータセットのコンテキストバイアスが感情状態のかなり不均衡な分布をもたらすことである。 本稿では、そのようなバイアスの影響からモデルを切り離し、CAERタスクにおける変数間の因果関係を定式化する因果関係に基づく視点を提供する。
  論文  参考訳（メタデータ） (2023-03-21T15:12:20Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。