論文の概要: Shift-Reliance Alignment: Ranking Vision-Language Models by the Cues They Trust

• arxiv url: http://arxiv.org/abs/2610.22610v1
• Date: Thu, 15 Oct 2026 20:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.655772
• Title: Shift-Reliance Alignment: Ranking Vision-Language Models by the Cues They Trust
• Title（参考訳）: シフト信頼アライメント:信頼するクイズによる視覚言語モデルのランク付け
• Abstract要約: 対象ドメインの最良のモデルは、そのドメインの候補を走らせることなく予測できることを示す。 画像中のシーンコンテキストやテキストなどの特徴であるキューへの依存度を,100個のラベル付きソース画像の編集によって測定する。
• 参考スコア（独自算出の注目度）: 0.8078491757252692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are usually chosen from leaderboards, which give one ranking for every application. On questions about objects that a scene suggests but does not contain, however, the model with the lowest error on the POPE hallucination benchmark is not the one with the lowest error on such questions. For yes/no questions about object presence, we show that the best model for a target domain can be predicted without running any candidate on that domain, given 650 to 1,200 labeled target items that calibrate a detector. We measure each model's reliance on a cue, a feature such as scene context or text in the image, by editing 100 labeled source images so that the cue suggests the wrong answer, and comparing with a matched control edit. Reliance predicts which VLMs are misled by physical sticker attacks (Spearman .93 on nine models not used to design the score) and which hallucinate on unedited COCO photographs, beyond what their tendency to answer yes explains. Shift-Reliance Alignment (SRA) scores a model by its source error on the labeled source questions plus its reliance multiplied by the shift. The shift is the proportion of target questions on which the cue misleads, and a detector estimates it on the unlabeled target images. SRA selects the model with the lowest score. In pre-registered tests on new images where most questions mislead, it lowered the error of the selected model from 30.4% under selection by source error to 18.8% on Objects365 and OpenImages but, against its prediction, not on COCO. On CueDial, a benchmark we release that varies how often a cue misleads, selection by model confidence falls more than 40 percentage points behind the best model when overlaid text denies a visible object, and SRA stays within 3 points.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は通常、リーダーボードから選択される。 しかし、シーンが提案するが含まないオブジェクトに関する質問では、POPE幻覚ベンチマークで最小エラーのモデルが、そのような問題で最低エラーのモデルではない。 物体の存在に関するイエス/ノーな質問に対して、対象領域の最良のモデルが、その領域の候補を走らせることなく予測できることを示し、検出器を校正する650から1200のラベル付き対象項目が与えられた。 画像中のシーンコンテキストやテキストなど,各モデルのキューへの依存度を測定し,100個のラベル付きソースイメージを編集することにより,キューが間違った回答を示すようにし,一致した制御編集と比較する。 信頼性は、VLMが物理的ステッカー攻撃(スコアを設計するのに使用されていない9つのモデルでSpearman .93)によって誤認されているかを予測する。 Shift-Reliance Alignment (SRA)は、ラベル付きソース質問のソースエラーと、シフトに乗じて信頼度でモデルを評価する。 このシフトは、キューがミスリードするターゲットの質問の割合であり、検出器は未ラベルのターゲット画像に基づいてそれを推定する。 SRAは、最も低いスコアでモデルを選択する。 ほとんどの質問が誤解されている新しい画像の事前登録テストでは、ソースエラーによって選択されたモデルのエラーを30.4%から、Objects365とOpenImagesでは18.8%に減らしたが、COCOでは予測されなかった。 CueDialは、私たちがリリースしたベンチマークで、キューのミスリードの頻度、モデルの信頼性による選択は、テキストが可視オブジェクトをオーバーレイすると、最高のモデルよりも40パーセント以上遅れ、SRAは3ポイント以内に留まる。

関連論文リスト

• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images [0.0]
  本稿では、視覚言語モデルが写真で何が見えていないのかを判断できるかどうかを判定するベンチマークであるVBを提案する。 アイテムは、最小限の画像編集を最小限のテキスト編集で横断する2x2デザインを使用して、100のファミリーに編成される。 我々は,自信認識精度(CAA),最小編集フリップ率(MEFR),信頼ランク選択予測(SelRank),第2次視点推論のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-03T23:03:11Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。