論文の概要: Reading Right, Answering Wrong: How Visual Configuration Changes Affect Evidence Use in VLMs

• arxiv url: http://arxiv.org/abs/2609.25770v1
• Date: Tue, 22 Sep 2026 07:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.260889
• Title: Reading Right, Answering Wrong: How Visual Configuration Changes Affect Evidence Use in VLMs
• Title（参考訳）: 正しい読み、答えの誤り:VLMにおける視覚的構成の変化がエビデンスに与える影響
• Abstract要約: 画像タイリングやトークン配置などの視覚的構成の変化がこの不安定性に寄与するかどうかを検討する。 これらのケースの半数以上では、モデルは誤った質問に答えるが、何を読むかを教えた時点では正しい答えを読むことができる。
• 参考スコア（独自算出の注目度）: 49.15011645486285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have achieved strong performance on tasks such as visual question answering, yet small image resizes can turn correct answers into errors. We investigate whether changes in visual configuration, such as image tiling and token arrangement, contribute to this instability. Across seven checkpoints and four benchmarks, equally small resizes cause more correctness flips when they switch configurations. Surprisingly, in over half of these cases, models answer the question incorrectly but can still read the correct answer when told what to read. Furthermore, attention interventions in LLaVA-NeXT suggest that configuration changes can weaken the use of readable information during answering. We therefore guide models using field cues and their own transcriptions. With annotation assistance, these forms of guidance together correct 97.2% of errors with readable information. These findings show that configuration changes can affect how models use information they can still read.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的質問応答のようなタスクにおいて高いパフォーマンスを達成しているが、小さな画像のリサイズは正しい回答を誤りに変えることができる。 画像タイリングやトークン配置などの視覚的構成の変化がこの不安定性に寄与するかどうかを検討する。 7つのチェックポイントと4つのベンチマークで、同じくらい小さなリサイズは、設定を切り替えるときにより正確さのフリップを引き起こす。 驚くべきことに、これらのケースの半数以上では、モデルは誤った質問に答えるが、何を読むかを教えた時点では正しい答えを読むことができる。 さらに、LLaVA-NeXTにおける注意介入は、構成変更が応答時の可読情報の使用を弱める可能性があることを示唆している。 したがって、フィールドキューとそれ自身の書き起こしを使ってモデルをガイドする。 アノテーションの補助により、これらのガイダンスは97.2%のエラーを読み取り可能な情報で修正する。 これらの結果は、設定の変更が、モデルがまだ読むことのできる情報の使用方法に影響することを示している。

関連論文リスト

• Which Source Wins? Task-Dependent Reliance in Vision-Language Models [0.6015914760581824]
  視覚言語モデル(VLM)は画像とテキストを組み合わせているが、2つの衝突と1つの衝突が読みにくくなると、モデルがそれらの間の依存をどうシフトするかははっきりしない。 制御されたセットアップを用いて、このモダリティのリアルタイム化について検討する。 我々は、GSM8KとSVAMPとの競合を、ある算術問題の描画されたイメージと別のテキストとのペアリングによって構築するので、2つの情報源は異なる回答をサポートする。 生成した回答と長さ正規化条件付きログ類似マージンを併用した6つのオープンウェイトVLMの評価を行った。
  論文  参考訳（メタデータ） (2026-08-17T23:38:14Z)
• Learning to Check: Unleashing Potentials for Self-Correction in Large Language Models [5.463333911506443]
  我々は,タスクチェックのためのトレーニングデータを構築することで,大規模言語モデル(LLM)の自己チェック能力を向上させることを目指している。 ステップCoTチェック(Step CoT Check)と呼ばれる特殊なチェックフォーマットを提案する。 実験により、"Step CoT Check"フォーマットによる微調整により、LCMの自己チェックと自己補正能力が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-02-20T14:23:23Z)
• Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
  生成したチャートキャプションに事実誤りを包括的に分類する。 大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。 分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
  論文  参考訳（メタデータ） (2023-12-15T19:16:21Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。