論文の概要: How Murky Before a VLM Knows It Cannot See? Accuracy, Confidence and Abstention on a Physical Visibility Axis

• arxiv url: http://arxiv.org/abs/2610.22981v1
• Date: Fri, 16 Oct 2026 06:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.778157
• Title: How Murky Before a VLM Knows It Cannot See? Accuracy, Confidence and Abstention on a Physical Visibility Axis
• Title（参考訳）: VLMが見ることができないのはなぜか? 物理的な可視性に関する正確性、信頼、そして欠如
• Abstract要約: 視覚言語モデル(VLM)のロバスト性の研究は、物理単位を持たない名目重大度スケールの分解についての研究である。 我々は,メートル内の視界軸上で,精度,内部(確率)信頼度,言語的信頼度,明示的な禁忌オプションを測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness studies of vision-language models (VLMs) grade degradation on nominal severity scales ("level 1-5") that carry no physical units, and they rarely ask whether a model's confidence follows the loss of visibility. We measure accuracy, internal (token-probability) confidence, verbalized confidence and an explicit abstain option on a visibility axis in metres: fog follows the Koschmieder model, an underwater arm scales the absorption spectrum of pure water, both are applied with a monocular metric depth map, and the visibility range V is swept over eight log-spaced levels from 250 m to 1.95 m. On 1000 COCO scenes and five small open VLMs (2-5 B parameters), accuracy on a boxed-object identification task falls from near its clean value to chance within a narrow band (half-way visibility V_acc of 12.1-15.9 m in fog and 20.5-38.6 m under water) while, for the four models that are confident on clean images, the confidence stays high: at V=1.95 m in fog their accuracy is at chance but their mean internal confidence is 0.68-0.84 and their verbalized confidence 0.61-1.00, a blind-spot width W=log10(V_acc/V_aware) of at least 0.79 decades, i.e. a factor of 6.2 in visibility. The remaining model is under-confident throughout and its internal confidence follows accuracy. An explicit abstain option follows accuracy when it names the reason (W from -0.21 to -0.06 in fog) but, for one model, lags with a generic "I don't know" (W up to 0.18). ImageNet-C fog severities 1-5 correspond to only 55-110 m of physical visibility, outside the failure band, and leave the accuracy of the models within 5 percentage points of its clean value. Blank-image and shuffled-image controls, a prior-matched answer set and a 200-image pilot that preceded the study are reported. Findings are descriptive: one draw of 1000 images, depth of assumed scale, and models of 2-5 B parameters.
• Abstract（参考訳）: 物理単位を持たない名目重大度尺度(レベル1-5)における視覚言語モデル(VLM)の劣化に関するロバスト性の研究は、モデルの信頼性が視界の喪失に続くかどうかを問うことは滅多にない。 霧はKoschmiederモデルに従っており、水中の腕は純粋な水の吸収スペクトルをスケールし、どちらもモノクロメートル深度マップで示され、視界範囲Vは250mから1.95mまでの8つの対数空間レベルに及んでいる。 1000のCOCOシーンと5つの小さなオープンVLM(2-5 Bパラメータ)では、ボックス化されたオブジェクト識別タスクの精度は、そのクリーンな値近くから、狭い帯域内での確率(半方向の視界V_accは12.1-15.9m、水中は20.5-38.6m)に低下するが、クリーンな画像に自信を持つ4つのモデルでは、信頼は高く保たれる: 霧中のV=1.95mは、その平均的な内部信頼は0.68-0.84であり、その言語化された信頼は0.61-1.00、盲点幅W=log10(V_acc/V_aware)は少なくとも0.79年、視界の6.2倍である。 残りのモデルは信頼性が低く、内部の信頼性は正確である。 明示的な禁忌オプションは、理由を名付ける(W は -0.21 から -0.06 の霧)ときに正確に従うが、あるモデルでは、一般的な "I don't know" (W は 0.18 まで)で遅延する。 ImageNet-Cフォグ重症度1〜5は、故障帯域外において、55〜110mの物理視認性のみに対応し、そのクリーン値の5ポイント以内にモデルの精度を残す。 研究に先立ってブランク画像とシャッフル画像コントロール、事前マッチングされた回答セット、200イメージのパイロットが報告された。 1000の画像の1つの描画、推定スケールの深さ、および2-5Bパラメータのモデル。

関連論文リスト

• Evaluating the Robustness of Anti-UAV Detection under Controlled Fog Degradation: Fog-Aware Training and Clear-Sky Tradeoff [0.0]
  Fog-awareトレーニングは、明快な精度で9.1%の低下しかなく、すべての重大度における検出を促進する。 信頼性は狭い視界範囲で失われるため、単純明快な対悪なテストは運用上のリスクを過小評価する。
  論文  参考訳（メタデータ） (2026-09-10T07:32:29Z)
• Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation [0.0]
  モデルスケールと4ビット量子化がQwen2-VLファミリーの2つの信頼信号にどのように影響するかを同一の入力で測定する。 スケールはモデルの内部不確実性信号を大幅に改善する。 誤差検出AUROCは校正誤差ではなく、2つの信号の差を露呈する計量であると主張する。
  論文  参考訳（メタデータ） (2026-07-27T13:47:44Z)
• Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation [0.0]
  視覚言語モデル(VLM)は、入力画像が圧縮、カメラの揺らぎ、照明不足によって劣化する消費者ハードウェアにますます多くデプロイされている。 我々は,3つの重度レベルで6つのリアルな写真劣化に対して,Qwen2-VL-2B-インストラクトとSmolVLM-インストラクトの2つの小型オープンウェイトVLMを評価した。
  論文  参考訳（メタデータ） (2026-07-24T07:00:32Z)
• Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective [76.02772556944073]
  環境錯覚は自然に存在するが、現実の運転環境では見過ごされている現象である。 視覚的知覚を妨害し、シーンの誤解を招き、自動運転システムに深刻な安全リスクをもたらす。 最初のベンチマークであるLanEvil++を導入し、環境錯覚下での車線知覚の堅牢性を評価する。
  論文  参考訳（メタデータ） (2026-07-07T03:15:00Z)
• Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
  モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。 本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T07:33:18Z)
• DistortBench: Benchmarking Vision Language Models on Image Distortion Identification [1.1609102090344634]
  視覚言語モデル(VLM)は、低レベルの画像劣化に対する感度が重要な設定において、ますます使われている。 VLMにおける非参照歪み知覚のための診断ベンチマークであるDistortBenchを提案する。
  論文  参考訳（メタデータ） (2026-04-21T20:20:59Z)
• Medical thinking with multiple images [44.04557445622649]
  我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。 データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。 テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
  論文  参考訳（メタデータ） (2026-04-14T18:51:07Z)
• VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models [64.56065206447788]
  ビジョン言語モデル(VLM)は、標準の高品質なデータセット上で強力なパフォーマンスを達成する。 VLM-RobustBenchはノイズ、ブラー、天気、デジタル、幾何学にまたがる49種類の拡張型にまたがるベンチマークである。 低重度空間摂動は、視覚的に重度な光度劣化よりも、しばしば性能を低下させる。
  論文  参考訳（メタデータ） (2026-03-06T10:58:02Z)
• VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images [0.0]
  本稿では、視覚言語モデルが写真で何が見えていないのかを判断できるかどうかを判定するベンチマークであるVBを提案する。 アイテムは、最小限の画像編集を最小限のテキスト編集で横断する2x2デザインを使用して、100のファミリーに編成される。 我々は,自信認識精度(CAA),最小編集フリップ率(MEFR),信頼ランク選択予測(SelRank),第2次視点推論のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-03T23:03:11Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications [71.1911136637719]
  証明可能な保証が、他の現実世界の設定にどのように自然に適用できるかを示す。 本研究では, 燃料噴射量を一定範囲で最大化するために, 特定の間隔の燃料噴射量を目標にする方法を示す。
  論文  参考訳（メタデータ） (2020-06-30T23:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。