論文の概要: DiFiT: Distribution-Fidelity-guided Visual Token Pruning for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2611.15069v1
- Date: Wed, 11 Nov 2026 05:37:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.055839
- Title: DiFiT: Distribution-Fidelity-guided Visual Token Pruning for Multimodal Large Language Models
- Title(参考訳): DiFiT:マルチモーダル大言語モデルのための分布フィデリティ誘導型ビジュアルトーケンプルーニング
- Abstract要約: プルーニングは、欲求的な答えが正しいままで変化しない場合でも、代替の応答トークンの確率を変えることができる。
本研究では,参照応答と全確率応答分布から個別選択を学習するためのDiFiT(Distribution-Fidelity-guided Token pruning)を提案する。
- 参考スコア(独自算出の注目度): 14.845805118541714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual token pruning reduces the inference cost of multimodal large language models, but answer accuracy only partly reflects its effect. Pruning can change the probabilities of alternative response tokens even when greedy answers remain correct and unchanged. We compare full and pruned response distributions under shared reference prefixes. Average predictive drift grows with compression on fixed correctly answered samples. Separate analyses associate larger drift with more confidence-decision disagreements and sampling failures. We propose DiFiT (Distribution-Fidelity-guided Token pruning) to learn discrete selection from reference answers and full-token response distributions. Dual-View Distillation matches probabilities across the vocabulary, while answer supervision supports task quality. A learned scorer and differentiable Top-$K$ learn which visual evidence to retain. A multi-budget mask objective supports different retention ratios through one shared ranking over a frozen model. On Qwen2.5-VL-7B, DiFiT reduces sampling-induced negative flips by 30.3% relative to FastV at 10% retention on four-task greedy-correct controls. It preserves 98.74% of baseline performance on MME at 30% retention.
- Abstract(参考訳): 視覚トークンプルーニングはマルチモーダルな大言語モデルの推論コストを削減するが、答えの精度はその効果を部分的に反映しているだけである。
プルーニングは、欲求的な答えが正しいままで変化しない場合でも、代替の応答トークンの確率を変えることができる。
我々は,共有参照プレフィックスの下で全応答分布と全応答分布を比較した。
平均的な予測ドリフトは、固定された正解標本の圧縮によって増大する。
分離された分析は、より大きなドリフトとより信頼性の高い不一致とサンプリング失敗とを関連付ける。
本研究では,参照応答と全確率応答分布から個別選択を学習するためのDiFiT(Distribution-Fidelity-guided Token pruning)を提案する。
Dual-View Distillationは語彙全体の確率と一致し、回答の監督はタスクの品質をサポートする。
学習したスコアと差別化可能なTop-K$は、どの視覚的証拠を保持するかを学ぶ。
マルチ予算マスク目的は、凍結モデル上の1つの共有ランキングを通じて、異なる保持率をサポートする。
Qwen2.5-VL-7Bでは、DiFiTはサンプリングによって引き起こされる負のフリップをFastVと比較して30.3%減らし、10%の保持率で4タスクのグリーディ正しい制御を行う。
MMEのベースライン性能の98.74%を30%の保持で維持している。
関連論文リスト
- Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning [57.985367205599324]
メソッドはマルチモーダルテスト時強化学習のための信頼性を考慮した調和コンセンサスフレームワークである。
メソッドは、適応インスタンスのセットとホールドアウトインスタンスの18のセットのセットで、TTRVを16のベンチマークで上回ります。
これらの結果は、さらなる更新なしにターゲットタスク適応と未確認インスタンスへの転送を改善した。
論文 参考訳(メタデータ) (2026-10-29T06:15:35Z) - Visual Sufficiency Landscapes: Understanding Query-Conditioned Reliability in Visual Token Pruning [16.392211430650878]
異なる視覚トークンプルーニング戦略は、同様のタスク性能を維持しながら、異なるサブセットを保持します。
我々は,この多彩さを特徴付けるために,視覚的満足感の景観を紹介した。
これらの結果から, 局所破砕性の測定可能な次元として, サブセット存在量を確立した。
論文 参考訳(メタデータ) (2026-10-18T02:46:34Z) - ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳(メタデータ) (2026-10-13T13:38:02Z) - Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。
パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。
投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
論文 参考訳(メタデータ) (2026-09-30T11:58:40Z) - OpenJev-RLCD: A Working RLCD Implementation [23.324155376717105]
本稿では、推論モデルのための校正決定(RLCD)のための強化学習の動作実装について述べる。
ばらつきのアイデンティティは、いくつかのサンプルの混合物のスコアリングが合理性に反し、RLVRはその多様性の項なしで、まさにこの混合目的であることを示している。
GSM8Kの回答検証では、単一のクエリがアイテムのgvTwoCovFive%を$le$5%エラーで、gvGrpoCovFive%がGRPOで決定する。
論文 参考訳(メタデータ) (2026-09-30T03:08:45Z) - How Far Do Persona Effects Generalize in Language Models? [21.279374648591318]
ペルソナは特定の種類の人々の答えを言語モデルに求める。
これらの効果から得られた関係が、新しい質問に対する反応を予測し、モデルやプロンプトで有用かどうかを検証する。
論文 参考訳(メタデータ) (2026-09-26T16:26:03Z) - Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs [16.357595595062946]
植民地の後に空間をトークン化する方法には合意がないが、しばしば自明な選択として見過ごされる。
驚いたことに、私たちは1つの特定の戦略 -- 回答のレターとともにスペースをトークン化する -- を推奨できます。
本研究は、注意深い評価設計の重要性を強調し、標準化された透明な評価プロトコルの必要性を強調した。
論文 参考訳(メタデータ) (2025-09-18T14:47:58Z) - Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。
CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
論文 参考訳(メタデータ) (2025-09-06T05:33:17Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳(メタデータ) (2025-05-30T15:42:19Z) - Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。
我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。
後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
論文 参考訳(メタデータ) (2024-07-21T00:10:23Z) - Counterfactual Variable Control for Robust and Interpretable Question
Answering [57.25261576239862]
ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。
本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。
本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-12T10:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。