論文の概要: Encoded but Unused: Bounding the Sources of VLM Errors

• arxiv url: http://arxiv.org/abs/2610.29241v1
• Date: Wed, 21 Oct 2026 05:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.2512
• Title: Encoded but Unused: Bounding the Sources of VLM Errors
• Title（参考訳）: エンコードされているが使われていない:VLMエラーのソースの境界
• Abstract要約: 視覚言語モデル(VLM)は,視覚表現の失敗と視覚利用の失敗という2つのソースに分解してエラーを生成する。 本稿では、軽量プローブを用いた視覚利用失敗率の推定と、プローブの不完全性を考慮した真のレートに関する理論的境界の導出を提案する。
• 参考スコア（独自算出の注目度）: 22.52857525199147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate why vision-language models (VLMs) produce errors by decomposing them into two sources: visual-representation failures, in which the visual evidence required for the correct answer is not encoded, and visual-utilization failures, in which this evidence is encoded but not successfully used. We propose to estimate the visual-utilization failure rate using lightweight probes and derive theoretical bounds on the true rate that account for probe imperfections. We introduce VELens (Visual Evidence Lens), a rank-based probe that traces visual evidence for both a target object and its ground-truth attribute, such as color, material, or shape, across VLM layers. We evaluate VELens on over 6,000 images using LLaVA-1.6-7B and Qwen2.5-VL-7B. Our method achieves ROC-AUC scores of 0.95 and 0.91, respectively, and outperforms alternative probes in both low-resource and unseen-attribute settings. Using it to diagnose errors, we estimate that visual-utilization failures account for 84.4% of LLaVA errors and 70.0% of Qwen errors, with conservative lower bounds of 77.5% and 61.0%, respectively. Overall, our study identifies visual utilization as the dominant bottleneck in VLMs and suggests that a central opportunity for improvement lies in developing better mechanisms to locate, route, and use the visual information they already encode.
• Abstract（参考訳）: 本稿では,視覚言語モデル(VLM)が,正解に必要な視覚的エビデンスを符号化しない視覚的表現障害と,このエビデンスを符号化するがうまく利用しない視覚的効用障害という,2つのソースに分解してエラーを生成する理由について検討する。 本稿では、軽量プローブを用いた視覚利用失敗率の推定と、プローブの不完全性を考慮した真のレートに関する理論的境界の導出を提案する。 VELens (Visual Evidence Lens) は、VLM層にまたがる色、材料、形状など、対象物とその接地特性の視覚的証拠をトレースする、ランクベースのプローブである。 LLaVA-1.6-7BとQwen2.5-VL-7Bを用いて6000以上の画像上でVELensを評価する。 提案手法は,それぞれ0.95と0.91のROC-AUCスコアを達成し,低リソースおよび非属性設定の両方において代替プローブよりも優れる。 誤差の診断には,LLaVAエラーの84.4%,Qwenエラーの70.0%,保守的下限の77.5%,61.0%が視覚的効用障害であると推定した。 本研究は,VLMの視覚的利用を主要なボトルネックとして認識し,既存の視覚情報の発見,経路決定,利用において改善の機会が重要であることを示唆する。

関連論文リスト

• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• Toward More Reliable Artificial Intelligence: Reducing Hallucinations in Vision-Language Models [0.0]
  視覚言語モデル(VLM)は、しばしば幻覚的コンテンツを生成するが、画像の内容に関する誤った主張である。 本稿では,不確実性誘導による視覚的再認識によってVLMの応答を反復的に改善することのできる,トレーニング不要な自己補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-08T13:58:46Z)
• Can VLMs Recall Factual Associations From Visual References? [30.821053378797007]
  視覚言語モデル(VLM)のマルチモーダルグラウンドリングにおける系統的欠陥を同定する。 VLMは、実体のイメージ表現に頼らざるを得ず、現実の知識を思い出す能力を持っている。 このようなリンク障害は、モデル内部状態における異なるパターンの表現と相関していることを示す。
  論文  参考訳（メタデータ） (2025-08-22T16:47:37Z)
• SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement [100.85923086072204]
  我々はThinkLite-VLを紹介した。これは最先端(SoTA)パフォーマンスを実現する視覚推論モデルのファミリーで、トレーニングサンプルの桁数を桁違いに減らしている。 我々はMonte Carlo Tree Search (MCTS) を用いて、各インスタンスの解決に必要な視覚言語モデル(VLM)の推論反復数を用いてサンプルの難易度を測定する。 ThinkLite-VL-7BとThinkLite-VL-72Bは、8つの視覚的推論ベンチマークにおいて、それぞれのベースモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-04-10T17:49:05Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
  ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。 本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
  論文  参考訳（メタデータ） (2022-12-21T02:28:07Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。