論文の概要: It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them

• arxiv url: http://arxiv.org/abs/2609.37863v1
• Date: Tue, 29 Sep 2026 15:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.70525
• Title: It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them
• Title（参考訳）: 画像に映っているもの:無関係な文脈でVLM審査員に知らせる
• Abstract要約: 視覚言語モデル(VLM)は、人間のアノテーションの代わりに使われるようになっている。 ミスリーディング画像ストレステストであるMISTを200の英文で紹介する。 ガイドラインは、ラベルを文のみから決定することを要求する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly used in place of human annotators, making it important that substitutability tests reflect the model rather than incidental evaluation conditions. We introduce MIST, the Misleading-Image Stress Test: 200 English sentences, each built around a phrase readable either figuratively or literally and shown with an aligned image depicting its reading, a misleading image depicting the opposite, or no image at all. The guidelines require the label to be decided from the sentence alone, so no image should change any answer. We expected each image to pull a judge's labels toward the sense it depicts, and neither kind did. Across thirteen VLM judges, an aligned image changed 20.5% of labels and a misleading one 19.4%, close for every judge and both above the 11.6% produced by deleting the ignore-the-image instruction with the image left in place. Yet only 37% of the labels that differ between the two images moved toward the sense shown, and agreement with our human annotators is unchanged whether the image is absent, aligned or misleading. The effect is smaller in the seven judges that pass the alt-test than in the six that never do, but present in all of them: what moves a judge is that an image is there, not which of the two it is, so a substitutability verdict describes a configuration as much as a model.
• Abstract（参考訳）: 視覚言語モデル(VLM)は人間のアノテータの代わりにますます使われており、置換性テストは偶発的な評価条件ではなくモデルを反映することが重要である。 MIST, the Misleading- Image Stress Test: 200 English sentences, each built around a phrase readable or literally and presented with a aligned image described its reading, a misleading image depicting the opposite, or no image。 ガイドラインは、ラベルを文のみから決定する必要があるため、画像はいかなる答えも変更すべきではない。 それぞれの画像が、裁判官のラベルを、それが描く感覚に向けることを期待していましたが、どちらもそうはいきませんでした。 13人のVLM審査員の間で、アライメントされた画像はラベルの20.5%と誤解を招く119.4%に変化し、すべての審査員に近づき、画像が残っていた画像で無視画像の指示を削除した11.6%を上回った。 しかし、この2つの画像に異なるラベルの37%しか表示されておらず、人間のアノテータとの合意は、画像が欠落しているか、一致しているか、誤解を招くかは変わらない。 この効果は、アルトテストに合格する7人の審査員において、決してしない6人の審査員よりも小さいが、それら全てに存在している: 裁判官の動きは、画像がそこに存在し、2人の審査員のうちどれかではない、ということであり、置換性判定は、モデルと同じくらいの構成を記述する。

関連論文リスト

• Mandela-Bench: Multimodal Models Remember Canonical Images Instead of Seeing Them [9.642483083656407]
  標準画像の1,507個の編集を含むMandela-Benchを紹介する。 モデルが偽造を検知するかどうかだけでなく、その説明が挿入された実体を識別するかどうかを評価する。 一部のモデルは、別々に表示された元の顔と置き換えられた顔とを区別できるが、完全な編集された写真は本物であると判断する。
  論文  参考訳（メタデータ） (2026-09-26T16:32:00Z)
• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• Should I Be Polite to My LLM Relevance Judge? Tone as a Severity Operating-Point Shift [7.837842601637295]
  トーンはランキング結果よりもキャリブレーションに基づく合意に影響します。 音調が変わる場合、結果は裁判官の厳格な操作点の変化とより一致している。
  論文  参考訳（メタデータ） (2026-09-09T04:40:14Z)
• VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification [53.25222629244709]
  VDiff-Benchは、微細な画像差分識別のためのベンチマークである。 それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。 11の最先端のオープンソースおよびクローズドソースMLLMによる実験は、きめ細かいビジュアル比較が不安定であることを示している。
  論文  参考訳（メタデータ） (2026-09-05T20:20:24Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation [0.0]
  大規模に言語モデルエージェントを評価することは、自動判断として第2の言語モデルに依存している。 このような裁判官は、信用できるかどうかにかかっているが、既存の裁判官はG-Evalのようにスコアリングのルーリックを手書きするか、審査員の重みを微調整するかのいずれかであり、どちらも成功として流動的だが失敗に終わった軌跡を信用する傾向がある。 本稿では,ラベル付きトラジェクトリに対する反射的進化により判断ルージェリクスを進化させ,環境報酬との一致を最大化し,凍結し,環境アクセスのない1つのモデルコールにおける保留トラジェリクスに適用するForgeForgeを提案する。
  論文  参考訳（メタデータ） (2026-06-25T03:58:31Z)
• Words Worth a Thousand Pictures: Measuring and Understanding Perceptual Variability in Text-to-Image Generation [58.77994391566484]
  W1KPは、画像の集合における可変性の人間の校正尺度である。 最高の知覚距離は、9つの基準線を最大18ポイント精度で上回る。 実際のプロンプトの56の言語的特徴を分析し、プロンプトの長さ、CLIP埋め込みノルム、具体性、単語感覚が最も変動に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2024-06-12T17:59:27Z)
• Evaluating Vision-Language Models on Bistable Images [34.492117496933915]
  本研究は,バイスタブル画像を用いた視覚言語モデルについて,これまでで最も広範に検討したものである。 私たちは手動で29枚のバイスタブル画像と関連するラベルを集め、明るさ、色調、回転で116種類の操作を行ないました。 以上の結果から,Idefics ファミリーと LLaVA1.5-13b のモデルを除いて,別の解釈が優先されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-29T18:04:59Z)
• Discovering and Mitigating Visual Biases through Keyword Explanation [66.71792624377069]
  視覚バイアスをキーワードとして解釈するBias-to-Text(B2T)フレームワークを提案する。 B2Tは、CelebAの性別バイアス、ウォーターバードの背景バイアス、ImageNet-R/Cの分布シフトなど、既知のバイアスを特定することができる。 B2Tは、Dollar StreetやImageNetのような大きなデータセットで、新しいバイアスを明らかにする。
  論文  参考訳（メタデータ） (2023-01-26T13:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。