論文の概要: It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2608.01207v2
• Date: Wed, 05 Aug 2026 05:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.076205
• Title: It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling
• Title（参考訳）: 難読化ではなくデコードフォーマット:ビジョンランゲージテストタイムスケーリングのための一貫性に基づく選択の監査
• Authors: Puzhuo Zheng, Hasan Kurban,
• Abstract要約: 摂動グラウンドドセレクション(Perturbation Grounded Selection、Pgs)は、ラベルのない訓練のないルールであり、モデルがラベル保存された入力の摂動の下でそれを導出するかどうかによって各候補をスコア付けする。 Pgsは圧倒的多数決に勝っているが、デコードフォーマットと予算が制御されたら、摂動という用語が何か追加するかどうかが分かる。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling lifts large language model reasoning by sampling many candidate solutions and selecting among them, yet the same recipe transfers poorly to vision-language models (VLMs): recent work shows that simple majority voting beats selection methods built on the model's own self-verification, apparently because at the selection layer an image-grounded answer and a confident guess from the language prior look the same. A natural fix is to make the selection signal one that cannot be computed without the image. We study Perturbation Grounded Selection (Pgs), a label-free, training-free rule that scores each candidate by whether the model re-derives it under label-preserving perturbations of the input (cropping, background masking, mild photometric or geometric jitter); Pgs recovers majority voting when the perturbation set is empty. The decisive question is not whether Pgs beats chain-of-thought only majority voting, but whether the perturbation term adds anything once decoding format and budget are controlled. We therefore introduce a format-matched control (MatchedCtrl): the same short, no-CoT draws spent on the original image. Across TextVQA, MATH-Vision, MMMU, and ViLP, with a Qwen headline (three-seed means) and LLaVA-OneVision coverage in matched-budget selector tables, Pgs appears to beat plain majority voting by up to +31.8 points on TextVQA (Qwen), but MatchedCtrl tracks or exceeds Pgs within noise on every benchmark, including the vision-required ViLP; no Qwen category shows a significant gain over this control. The stability gap is real and image-dependent (up to +0.48), yet does not predict per-instance wins. The result is negative and diagnostic: perturbation consistency is at best a partial diagnostic of visual dependence and, on its own, not a usable selection signal once format is controlled; gains reported against CoT-only majority voting overstate such methods.
• Abstract（参考訳）: テストタイムスケーリングは、多くの候補ソリューションをサンプリングし、それらの中から選択することで、大きな言語モデルの推論を引き上げるが、同じレシピはビジョン言語モデル(VLM)に乏しく、最近の研究は、単純な多数決投票が、モデル自身の自己検証に基づいて構築された選択メソッドに勝っていることを示している。 自然な修正は、画像なしでは計算できない選択信号を作ることである。 本研究では,ラベルのない学習自由規則である摂動接地選択(Pgs)について検討し,そのモデルが入力のラベル保存摂動(クロッピング,背景マスキング,軽度測位,幾何ジッタ)で再帰するか否かを判定し,摂動集合が空になったときに多数投票を回収する。 決定的な問題は、Pgsが圧倒的多数決に勝つかどうかではなく、デコードフォーマットと予算が制御されたときに、摂動という用語が何かを付加するかどうかだ。 したがって、フォーマットマッチング制御(MatchedCtrl)を導入します。 TextVQA, MATH-Vision, MMMU, ViLP には Qwen の見出し(3列の手段)と LLaVA-OneVision のカバーがあり、Pgs は TextVQA (Qwen) 上の 31.8 点の投票率を上回り、MatchedCtrl は ViLP を含む全てのベンチマークで Pgs をトラックまたは上回っている。 安定性のギャップはリアルで画像に依存している(+0.48まで)が、インスタンス当たりの勝利は予測しない。 摂動一貫性は、少なくとも視覚的依存の部分的な診断であり、それ自身は、一度フォーマットが制御されたときに使用可能な選択信号ではない。

関連論文リスト

• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• When Correct Decisions Hide Internal Stress: Decision-State Probing in Multimodal Language Models [18.50038551163168]
  我々はS$3$Eを用いてマルチモーダル言語モデルにおける振る舞い-内部疎結合を解析する。 意味紛争候補が過剰な意思決定状態のずれを引き起こすかどうかを測定する。 以上の結果から,強制選択の正確性だけでは,内部決定幾何学の不変性の十分な証明にはならないことが示唆された。
  論文  参考訳（メタデータ） (2026-06-07T01:11:36Z)
• Diversity Matters: Revisiting Test-Time Compute in Vision-Language Models [60.9932576020062]
  テスト時の計算戦略は、大規模言語モデルにおける推論を強化するための軽量なアプローチとして現れている。 本稿では,予測エントロピーに基づいて最も確実な予測を選択するエントロピーに基づくTTCを提案する。 ETTCは、軽度の仮定で多数決よりも優れており、投票と最高の個人モデルの両方を一貫して上回っていることを実証的に実証している。
  論文  参考訳（メタデータ） (2026-05-29T01:06:38Z)
• [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
  PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。 パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。 実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2026-05-25T13:19:12Z)
• When Choices Become Priors: Contrastive Decoding for Scientific Figure Multiple-Choice QA [14.554199342275588]
  SCICONは、画像条件付きからテキストのみのオプションスコアを減じて、各候補をスコアする訓練不要の復号法である。 3つの科学的フィギュアQAベンチマークと3つのモデルバックボーンで、SCICONは標準デコードベースラインよりも精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-30T04:38:28Z)
• Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction [40.16419917667614]
  本稿では,視覚言語基盤モデルの選択的予測について考察する。 我々は、どんな基礎モデルにも適用可能な、低複雑さのトレーニング不要なアプローチを模索する。 我々は,(1)視覚言語表現の不安定性,(2)画像テキストの埋め込みのばらつき,(2)類似度スコアのキャリブレーションの低下,の2つの主要な課題を識別する。
  論文  参考訳（メタデータ） (2026-01-30T05:10:34Z)
• Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
  大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。 LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
  論文  参考訳（メタデータ） (2025-11-17T21:31:37Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Revisiting the Role of Language Priors in Vision-Language Models [90.0317841097143]
  視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。 我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。 画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
  論文  参考訳（メタデータ） (2023-06-02T19:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。