論文の概要: BEFORE THE FLIP: Measuring Hidden Score Shifts In Quantized Vision Language Models Before The Answer Changes for Visual Question Answering
- arxiv url: http://arxiv.org/abs/2609.06922v1
- Date: Mon, 07 Sep 2026 01:38:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 02:10:28.490578
- Title: BEFORE THE FLIP: Measuring Hidden Score Shifts In Quantized Vision Language Models Before The Answer Changes for Visual Question Answering
- Title（参考訳）: 量子ビジョン言語モデルにおける隠れスコアシフトの測定
- Abstract要約: 量子化により、ヴィジュアル言語モデル(VLM)は、より少ないビットで重みを表現することで、保存と実行がより安価になる。
圧縮後の視覚的質問応答(VQA)に対する回答は期待通りだが、基礎となるスコア(ログ確率)の変化を隠蔽することができる。
圧縮によるスコアの変化と、画像の内部表現や画像トークンを1つの固定平均トークンに置き換えることによる変化を比較する。
次に、1つの重み群の精度を高めて、余分なビットがどこにあるかを特定し、各質問に対して異なるグループを選択することが、シャッフルされた制御以上の利益をもたらすかどうかをテストする。
- 参考スコア（独自算出の注目度）: 1.860114438308802
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Quantization makes vision language models (VLMs) cheaper to store and run by using fewer bits to represent their weights. While unchanged answers on visual question answering (VQA) after compression are an expected behavior, they can still hide changes in the underlying scores (log probabilities). For example, a model may still answer yes after compression, even as the score gap between yes and no shrinks. We introduce BEFORE THE FLIP to measure these hidden changes. Our method compares the score change caused by compression with the change caused by replacing the image's internal representations, or image tokens, with one fixed average token. We then increase the precision of one weight group at a time to identify where extra bits help, and test whether choosing different groups for each question offers benefits beyond shuffled controls. Among 8,277 LLaVA questions where image token replacement measurably affects the scores, 4-bit compression shifts the yes or no score gap farther toward the replacement output than 8-bit compression. Qwen shows the same pattern, but with a smaller difference. Yet only 265 of 9,000 LLaVA answers change at 4 bits. In a separate study of 1,024 calibration questions, choosing weight groups separately for each question does not outperform both shuffled controls at any tested storage budget. These findings show that compression can alter the scores behind unchanged answers, but do not establish a reliable benefit from adjusting precision for each question.
- Abstract（参考訳）: 量子化により、ヴィジュアル言語モデル(VLM)は、より少ないビットで重みを表現することで、保存と実行がより安価になる。
圧縮後の視覚的質問応答(VQA)に対する回答は期待できないが、基礎となるスコア(ログ確率)の変化を隠蔽することができる。
例えば、YesとNoのスコアギャップが縮むとしても、モデルは圧縮後にYesに答えるかもしれません。
隠れた変化を測定するためにBEFORE THE FLIPを導入します。
本手法では,画像の内部表現や画像トークンを1つの固定平均トークンに置き換えることによる圧縮によるスコア変化とを比較検討する。
次に、1つの重み群の精度を高めて、余分なビットがどこにあるかを特定し、各質問に対して異なるグループを選択することが、シャッフルされた制御以上の利益をもたらすかどうかをテストする。
8,277のLLaVA質問において、画像トークンの置換がスコアに影響を及ぼすかという問題のうち、4ビット圧縮は8ビット圧縮よりも、代替出力に向かってイエスまたはノースコアギャップをシフトさせる。
Qwenも同じパターンですが、小さな違いがあります。
しかし、9000 LLaVAの答えのうちわずか265 LLaVAは4ビットで変化する。
1,024のキャリブレーション質問に対する別の調査では、各質問に対して個別に重み群を選択することは、テスト済みのストレージ予算において、両方のシャッフル制御を上回らない。
これらの結果から, 圧縮は変化しない回答の背景にあるスコアを変えることができるが, 各質問に対する精度の調整による信頼性の高い利点は得られないことがわかった。
関連論文リスト
- VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification [53.25222629244709]
VDiff-Benchは、微細な画像差分識別のためのベンチマークである。
それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。
11の最先端のオープンソースおよびクローズドソースMLLMによる実験は、きめ細かいビジュアル比較が不安定であることを示している。
論文 参考訳（メタデータ） (2026-09-05T20:20:24Z) - BagShift: Measuring How Patch Selection Changes the Evidence Seen by Whole-Slide MIL [5.37385089150859]
BagShiftは、同じケースのセレクタを変更しながら、その機能と予測子を固定したペアプロトコルである。
均等な128パッチの予算で、組織をサンプリングしたり、1つの座標の周りに集中させたりすると、明らかに異なる証拠が浮かび上がる。
CAMELYON16では, 微小転移観察の10.0%に限って, 局所的な観察が腫瘍を保っていることが示唆された。
局所的な観測を繰り返すと、1つの非線形MILパスの前にパッチを結合することで、平均的な地域予測よりもPANDA QWKを7.87ポイント改善する。
論文 参考訳（メタデータ） (2026-08-16T23:53:11Z) - Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression [18.435649248662944]
保持されたテキストが応答を含む場合、削除されたテキストは、それを解釈するために必要なエンティティを定義し、結果参照ダングリングを呼び出します。
提案手法では, 省略文に対して, 保持テキストの解釈が必要か否かを判断し, アノテーションを推論時にサポートせずに上位候補を再試行する。
論文 参考訳（メタデータ） (2026-08-05T07:58:53Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Auto Research for Materials: Auditable AI-Scientist Workflows with Held-Out Transfer [13.399139714704226]
AI研究エージェントは、新しい材料に作用するモデリング変更を見つけることなく、目に見えるスコアを改善することができる。
クローズドループエージェントは、未確認のエビデンスや、タスク間で再利用され、組み合わせられるコード変更に生き残る決定を生成できることを示す。
論文 参考訳（メタデータ） (2026-07-19T07:02:44Z) - What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation [1.2183405753834562]
時間的ビデオ質問応答ベンチマークのスコアは、あるモデルが時間的理解を持っていることを測ることを目的としているが、それは2つの質問を混同している。
Molmo2は前方イベントの読み上げ順序をオフに、Qwen3-VLは実際に見た逆イベントに応答し、視覚的順序(比較的)を読む。
この分割は2つのベンチマークと2つのスケールでの複数の時間的タスクにまたがっており、アクティベーションパッチは、競合の成果物ではなく、実際の内部プロパティであることを示している。
論文 参考訳（メタデータ） (2026-07-14T03:26:33Z) - VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか?
VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。
ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
論文 参考訳（メタデータ） (2026-06-05T22:06:07Z) - Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。
この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。
そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
論文 参考訳（メタデータ） (2025-06-11T08:23:53Z) - Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。
我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。
後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
論文 参考訳（メタデータ） (2024-07-21T00:10:23Z) - Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。
提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文 参考訳（メタデータ） (2022-04-26T01:35:02Z) - Contrast and Classify: Training Robust VQA Models [60.80627814762071]
本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。
双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
論文 参考訳（メタデータ） (2020-10-13T00:23:59Z) - Optimizing JPEG Quantization for Classification Networks [32.20485214224392]
単純なソートされたランダムサンプリング手法は、標準JPEG Q-tableの性能を上回ることができることを示す。
新しいQテーブルは、精度が固定されたときに圧縮率を10%から200%向上させることができる。
論文 参考訳（メタデータ） (2020-03-05T19:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。