論文の概要: How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
- arxiv url: http://arxiv.org/abs/2608.13267v1
- Date: Thu, 13 Aug 2026 14:06:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.551785
- Title: How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
- Title（参考訳）: 衝突・誤作動時のVLMの挙動評価 : 科学的図形によるVLMの挙動評価
- Abstract要約: 本稿では,科学的図形理解のための診断用VLMベンチマークであるSciFigBenchを紹介する。
不確実性の下で、認識、推論、行動の信頼性を共同で評価する。
以上の結果から,モデル間での行動的差異が明らかとなった。
- 参考スコア（独自算出の注目度）: 17.423679874903062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing vision-language model (VLM) benchmarks emphasize perception and reasoning accuracy (how well VLMs describe and reason about what they see in an image), with limited attention to behavioral reliability under uncertainty (how they behave when visual evidence is missing or misleading). We introduce SciFigBench, a diagnostic VLM benchmark for scientific figure understanding that jointly evaluates perception, reasoning, and behavioral reliability under uncertainty. It contains 250 figures with high-quality human annotations across three evaluation aspects, totaling 600+ hours of annotation effort. We further extend these figures via image transformations, reasoning questions, resistance probes, caption-bias probes, and confirmed selective-blur targets, producing over 34,000 evaluation setups for stress testing. We further propose the Admittance-Resistance-Inductance (A-R-I) framework to evaluate whether models acknowledge insufficient evidence, resist misleading context, and infer cautiously from partial information. Our results reveal substantial behavioral differences among models. GPT-5.2 achieves the highest description quality (MQM 91.6) with strong reasoning accuracy (78.4%), yet hallucinates unreadable content in 96% of cases, whereas Gemini 3.1 Pro, a comparably capable model (MQM 90.2, reasoning 81.0%), admits uncertainty in 71% of such cases and achieves the strongest resistance score (0.91). These findings show that high perception and reasoning accuracy alone do not guarantee behavioral reliability, a dimension critical for deployment in scientific workflows.
- Abstract（参考訳）: 既存の視覚言語モデル(VLM)ベンチマークでは、知覚と推論の正確さ(VLMが画像に何が見えるのかをいかに説明し、理由づけしているか)を強調し、不確実性の下での行動信頼性(視覚的証拠が欠落したり誤解を招く場合の振る舞い)に限定的に注意を払っている。
SciFigBenchは、科学的図形理解のための診断用VLMベンチマークであり、不確実性下での知覚、推論、行動信頼性を共同で評価する。
3つの評価側面にわたる高品質な人的アノテーションを備えた250人の人物が含まれており、合計600時間以上のアノテーションの取り組みがある。
さらに, 画像変換, 推論質問, 抵抗プローブ, キャプションバイアスプローブ, 選択的ブルー目標の確認により, ストレステストのための34,000以上の評価設定を生成する。
さらに、モデルが不十分な証拠を認め、誤解を招く状況に抵抗し、部分的な情報から慎重に推測するかどうかを評価するためのAdmittance-Resistance-Inductance (A-R-I)フレームワークを提案する。
以上の結果から,モデル間での行動的差異が明らかとなった。
GPT-5.2は、強い推論精度(78.4%)で最高記述品質(MQM 91.6)を達成するが、96%のケースでは読めない内容に幻覚を与える一方、可読性のあるモデル(MQM 90.2, reasoning 81.0%)であるGemini 3.1 Proは、これらのケースの71%で不確実性を認め、最大の抵抗スコア(0.91)を得る。
これらの結果から,高い知覚と推論精度だけでは行動信頼性は保証されないことが示唆された。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations [3.765860543344957]
証拠保存摂動下での4つのVLMファミリーの診断的ロバスト性について検討した。
以上の結果から,48.9%のケースで予測反転を示すモデルを用いて,プレゼンテーション順序安定性の重大な脆弱性を明らかにした。
論文 参考訳（メタデータ） (2026-08-05T14:09:55Z) - Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。
これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。
我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
論文 参考訳（メタデータ） (2026-06-22T16:48:43Z) - Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。
カテゴリー的誘因は有効性には至らなかった。
声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
論文 参考訳（メタデータ） (2026-04-24T04:45:21Z) - Lie to Me: How Faithful Is Chain-of-Thought Reasoning in Reasoning Models? [0.0]
CoT(Chain-of- Thought)推論は、安全クリティカルなデプロイメントにおける大規模言語モデルの透明性メカニズムとして提案されている。
本研究では,9つの建築家族を対象としたオープンウェイト推論モデルを498の質問に対して検討した。
41,832回の推論では、全体の忠実度は39.7% (Seed-1.6-Flash) から89.9% (DeepSeek-V3.2- Speciale) まで変化している。
論文 参考訳（メタデータ） (2026-03-23T21:21:37Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - AdversaRiskQA: An Adversarial Factuality Benchmark for High-Risk Domains [3.721111684544962]
大型言語モデル(LLM)における幻覚は、誤報の拡散と公衆信頼の低下に寄与する。
本稿では,最初の検証済みで信頼性の高いベンチマークであるAdversaRiskQAを紹介する。
我々は,Qwen,GPT-OSS,GPTファミリーの6つのオープンソースLCMを評価し,誤情報検出率を測定した。
論文 参考訳（メタデータ） (2026-01-21T22:47:59Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。
ガス灯消火プロンプトによる精度低下が認められた。
GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
論文 参考訳（メタデータ） (2025-06-11T12:52:25Z) - Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。
このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。
人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
論文 参考訳（メタデータ） (2024-04-16T23:56:38Z) - Navigating the Grey Area: How Expressions of Uncertainty and
Overconfidence Affect Language Models [74.07684768317705]
LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。
その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。
これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
論文 参考訳（メタデータ） (2023-02-26T23:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。