論文の概要: Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation

• arxiv url: http://arxiv.org/abs/2610.25964v2
• Date: Tue, 20 Oct 2026 04:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.328559
• Title: Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation
• Title（参考訳）: トークン選択によるPOPE: VLM幻覚評価におけるYes/No抽出の体系的監査
• Abstract要約: 我々はPOPEベンチマークで幻覚軽減効果を再現する。 LLaVA-1.5-7Bのベースラインは1.21から8.67ポイントであり、比較する予定の敵のベースラインより上であった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We set out to reproduce a recent hallucination-mitigation result on the POPE benchmark. The LLaVA-1.5-7B baseline we measured, 82.21 F1 on the adversarial split, sat 1.21 to 8.67 points above the adversarial baselines we planned to compare against (81.00, 79.30, and 73.54). We looked at the evaluation code and found a readout choice that moves F1 on its own. A two-token logit readout decides yes versus no by comparing two vocabulary IDs, 3582 ("yes") and 1217 ("no"). Across 9,000 greedy-decode questions spanning all three splits, neither ID is generated even once. The model emits " Yes" (token 3869) and " No" (token 1939), because SentencePiece prepends a space byte after the prompt suffix "ASSISTANT:". Read with an eight-token lookup that covers the space-prefixed surface forms, LLaVA-1.5-7B scores F1 0.8221, 0.8498, and 0.8713 on the adversarial, popular, and random splits. That 6.13-point adversarial shift exceeds the adversarial gain reported by five of the six papers we surveyed. None of them states its readout, and our reference ran under 4-bit NF4 quantization, so we cannot say how much of any reported gain a matched evaluation would keep. That comparison stays unresolved until readout and precision are matched. On the fixed baseline we run nine inference-time corrections of our own (none beat it) and dissect why the adversarial split resists logit-level intervention. In a 3,000-question probe, wrong predictions draw more image attention than correct ones (Cohen's $d=-0.46$, $p=1.4\times10^{-24}$), the opposite of what grounding-based corrections assume. A four-readout audit across four further VLMs from three tokenizer families confirms the confound is protocol-level, not model-specific: porting the LLaVA-1.5 IDs verbatim drops F1 to 0.00 on the two disjoint-vocabulary models, whereas a tokenizer-derived readout holds between 0.80 and 0.92.
• Abstract（参考訳）: 我々はPOPEベンチマークで最近の幻覚軽減効果を再現することにした。 我々が測定したLLaVA-1.5-7Bベースライン82.21 F1は、私たちが比較する予定の敵ベースライン(81.00, 79.30, 73.54)の1.21から8.67ポイント上であった。 評価コードを見て、F1を単独で移動させる読み出し選択を見つけました。 二つの単語ID、3582(yes)と1217(no)を比較して、Yes vs noを判定する。 3つの分割すべてにまたがる9000以上のgreedy-decode質問では、IDは一度も生成されない。 このモデルは、SentencePieceが"ASSISTANT:"という接尾辞の後にスペースバイトをプリペイドするため、"Yes" (Token 3869) と "No" (Token 1939) を出力する。 LLaVA-1.5-7B は F1 0.8221, 0.8498, 0.8713 を逆数、人気、ランダムスプリットでスコアする。 この6.13ポイントの逆転は、われわれが調査した6つの論文のうち5つが報告した敵の増益を上回っている。 いずれもリードアウトを述べておらず、我々の参照は4ビットのNF4量子化の下で実行されていたので、どのレポートがマッチした評価を得られるかは定かではない。 この比較は、読み出しと精度が一致するまで未解決のままである。 固定ベースラインでは, 自作の推測時間補正を9回行い(誰も打ち負かさない), 対数分割が対数レベルの介入に抵抗する理由を判別する。 3000の探究プローブでは、間違った予測は正しい予想よりも画像の注意を惹きつける(コーエンの$d=-0.46$, $p=1.4\times10^{-24}$)。 LLaVA-1.5 IDsは2つの非結合語彙モデルでF1を0.00に移植するが、トークンライザ由来の読み出しは0.80から0.92である。

関連論文リスト

• SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs [32.72182829728677]
  思考可能な視覚言語モデル(VLM)は、空間的ベンチマークにおいてずっと高い精度を報告している。 しかし、最終回答スコアは、正しい予測が忠実な空間的推論や言語的ショートカットを反映しているかを明らかにすることはできない。 28350のトレーニングデータセットであるSpatialChainと、空間指向のGQA質問と、シーングラフに基づく推論チェーンをペアにした899のテスト例を紹介する。
  論文  参考訳（メタデータ） (2026-10-05T14:29:54Z)
• NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models [42.95507596219371]
  我々は2つの属性タイプと4つの関係カテゴリをカバーする4,800のプロンプトのベンチマークであるNegT2IBenchを紹介した。 私たちの検出器に基づくスコアは再現可能で、監査可能で、要求が失敗したピンポイントです。
  論文  参考訳（メタデータ） (2026-10-02T10:03:56Z)
• Decide, Don't Generate: Competitive Dimensional ABSA with Jev's Typed Decisions [26.964814392624813]
  競合次元ABSAはテキスト生成を必要としないことを示す。 私たちはJevというフリーズモデルを使い、型付けされた質問に古風なスコア、ラベルの確率、イエス/ノーの判断で答えます。
  論文  参考訳（メタデータ） (2026-09-28T14:37:08Z)
• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
  大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。 テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。 しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。 我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
  論文  参考訳（メタデータ） (2026-08-30T17:58:49Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs [0.0]
  表面流速から4つの現象を分離する最小ペアのベンチマークであるJ-PragEval-v0を紹介する。 線形プローブと教師による対数確率評価を組み合わせて、TinySwallow-1.5B内のどのコントラストがライブであるかを問う。
  論文  参考訳（メタデータ） (2026-08-14T21:04:21Z)
• FIDES: Faithful Inference via Deep Evidence Signals for Retrieval-Memory Conflict in RAG [28.69005193011498]
  コントラストデコーディングは、パラメトリックバイアスを抑制するために文脈条件付き出力を増幅する。 単一のグローバルな対照的な重みは、真に矛盾したトークンを不十分に修正しながら、安全なトークンを過払いする。 本研究では,学習不要なデコーダであるFIDESを提案する。
  論文  参考訳（メタデータ） (2026-06-04T03:16:17Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models [15.373620817510727]
  普遍的敵攻撃は60-80%の範囲で攻撃の成功率で報告されている。 i)モデルの出力が乱れ(影響)、(ii)攻撃者の選択したターゲット概念が実際に放出された(Precise Injection)。 21のユニバーサルイメージ、147の敵対的な写真、6,615のレスポンスペア、v3のデュアル軸判定結果、および抱きしめるface.co/datasets/jeffliulab/visinjectのキャッシュです。
  論文  参考訳（メタデータ） (2026-05-02T13:56:50Z)
• When Corrective Hints Hurt: Prompt Design in Reasoner-Guided Repair of LLM Overcaution on Entailed Negations under OWL~2~DL [10.675009214407185]
  OWL2DL コンプライアンスクエリにおいて GPT-5.4 で再現可能なエラーパターンを報告した。 emphFunctionalProperty closure または class emphdisjointness' の下で、理性に満ちた答えが no''' である場合、モデルは「未知」を頻繁に答える。
  論文  参考訳（メタデータ） (2026-04-25T18:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。