論文の概要: How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects
- arxiv url: http://arxiv.org/abs/2606.08777v1
- Date: Sun, 07 Jun 2026 18:45:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.442034
- Title: How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects
- Title(参考訳): VLMの幻覚を回路と因果効果で探すには、どれぐらいの対策が必要か?
- Authors: Abhivansh Gupta, Simardeep Singh, Advika Sinha, Shreyansh Modi, Akshat Tomar,
- Abstract要約: 視覚言語モデルにおける幻覚出力に対する対実的ロバスト性のサンプル複雑性について検討する。
本研究では,実例,反実例,アクティベーション対応動作の対数確率差に基づく因果影響尺度を定義する。
次に、幻覚出力の不安定性を確実に検出するために必要となる最小の反実例 m に基づいて経験的境界を導出する。
- 参考スコア(独自算出の注目度): 0.3262230127283452
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Visual Language Models (VLMs) are known to produce hallucinated predictions that are not grounded in visual evidence, yet existing approaches lack a principled understanding of how robust such predictions are under counterfactual perturbations. In this work, we study the sample complexity of counterfactual robustness for hallucinated outputs in VLMs. We define a causal influence metric based on log-probability differences between factual, counterfactual, and activation-patched runs, and use it to characterize the stability of hallucinated predictions. By leveraging circuit discovery techniques (CD-T), we identify model components responsible for these predictions and track their activation differences across counterfactual samples. We then derive empirical bounds on the minimum number of counterfactual samples m required to reliably detect instability in hallucinated outputs, using concentration inequalities and variance estimates of the causal influence distribution.
- Abstract(参考訳): 視覚言語モデル(VLM)は、視覚的証拠に基づかない幻覚的予測を生成することが知られているが、既存のアプローチでは、そのような予測が事実上の摂動の下でいかに頑健であるかを原則的に理解していない。
本研究では,VLMにおける幻覚出力に対する反実的ロバスト性のサンプル複雑性について検討する。
本研究では,実数,反実数,アクティベーションパッチ付き動作の対数確率差に基づく因果影響尺度を定義し,それを用いて幻覚予測の安定性を特徴づける。
回路探索技術(CD-T)を活用することで,これらの予測に責任を持つモデル成分を特定し,その活性化の相違を検出できる。
そこで我々は, 因果影響分布の濃度不等式と分散推定値を用いて, 幻覚出力の不安定性を確実に検出するために必要な最小の反事実サンプルmについて, 実験的境界を導出した。
関連論文リスト
- Evaluating the Relevance of Uncertainty Estimators for LLM Hallucination [17.688677912242593]
大型言語モデル(LLM)は幻覚を起こす傾向があり、すなわち、入力データや訓練データによって支持されない文である。
LLMにおける不確実性推定と幻覚との関連について,系統的研究を行った。
論文 参考訳(メタデータ) (2026-05-26T13:34:54Z) - VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳(メタデータ) (2026-04-21T12:40:07Z) - DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。
幻覚は 信頼性を損なう重要な問題です
本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
論文 参考訳(メタデータ) (2026-03-17T12:40:29Z) - When Bias Pretends to Be Truth: How Spurious Correlations Undermine Hallucination Detection in LLMs [15.622799135126455]
大規模言語モデル (LLM) は幻覚を呈し続けており, 妥当で誤った反応を生じている。
我々は、急激な相関によって引き起こされた、批判的だが未発見の幻覚のクラスを強調した。
信頼に基づくフィルタリングや内部状態探索のような既存の幻覚検出手法は、基本的には素早い相関の存在下で失敗する。
論文 参考訳(メタデータ) (2025-11-10T17:19:27Z) - Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。
提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
論文 参考訳(メタデータ) (2025-08-03T17:29:48Z) - Shaking to Reveal: Perturbation-Based Detection of LLM Hallucinations [25.18901449626428]
自己評価として知られる幻覚を検出するための広く採用されている戦略は、その答えの事実的正確さを推定するために、モデル自身の出力信頼度に依存する。
中間表現における摂動感度を解析することにより自己評価を改善する新しいフレームワークSSPを提案する。
SSPは幻覚検出ベンチマークの範囲で先行手法を著しく上回っている。
論文 参考訳(メタデータ) (2025-06-03T09:44:28Z) - Hallucination, Monofacts, and Miscalibration: An Empirical Investigation [2.3278261859840104]
大規模言語モデルにおける有能な事実は、モノファクトレートによって決定される統計的下界に従う。
古典的なn-gramモデルと微調整エンコーダ・デコーダ変換器におけるこの3方向関係に関する最初の実証的研究を示す。
論文 参考訳(メタデータ) (2025-02-11T18:46:00Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳(メタデータ) (2024-03-23T04:13:55Z) - Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。
本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
論文 参考訳(メタデータ) (2024-03-07T17:44:17Z) - Identifying Weight-Variant Latent Causal Models [82.14087963690561]
推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。
いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。
本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2022-08-30T11:12:59Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。