論文の概要: When 1+1 Backfires: Rethinking Relevance-Diversity Balancing for Sample-Aware Visual Token Reduction

• arxiv url: http://arxiv.org/abs/2610.16615v1
• Date: Mon, 12 Oct 2026 11:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.364749
• Title: When 1+1 Backfires: Rethinking Relevance-Diversity Balancing for Sample-Aware Visual Token Reduction
• Title（参考訳）: 1+1のバックファイア: サンプル認識型視覚トーケン低減のための妥当性と多様性のバランスの再考
• Abstract要約: 視覚トークン圧縮は視覚言語モデルの推論コストを削減する重要な手法として登場した。 我々は,Sample-Aware Relevance-diversity balanced Visual tokEn ReductionのためのフレームワークであるSAVERを提案する。
• 参考スコア（独自算出の注目度）: 41.070648799609195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual token compression has emerged as a critical technique for reducing the inference cost of Vision-Language Models. Existing methods select tokens based on text relevance, visual diversity, or a fixed combination of both---treating the relevance-diversity balance as a universal constant independent of the input. We conduct a systematic analysis to challenge this assumption. At the dataset level, grid-searching the optimal relevance-diversity weight per benchmark reveals substantial cross-task variation. More critically, we further maximize per-sample answer likelihood to recover sample-level oracle weights, finding that their distributions not only differ markedly across benchmarks but also exhibit high within-benchmark variance. Based on these observations, we propose SAVER, a framework for Sample-Aware relevance-diversity balanced Visual tokEn Reduction. We first derive a Geometric Intent Prior (GIP) from the spatial concentration of text-relevant tokens to infer a sample-specific relevance-diversity weight, and then apply this weight to jointly select tokens via a Weighted Text Centroid (WTC) for relevance scoring and a Visual Marginal Coverage Gain (VMCG) for diversity. SAVER requires no additional training and achieves sample-aware balancing entirely at inference time. Extensive experiments demonstrate that SAVER consistently outperforms state-of-the-art baselines across diverse benchmarks, retaining 96.5% of full-model performance on LLaVA-1.5-7B with only 11.1% of the original visual tokens, and further generalizing to LLaVA-NeXT and Mini-Gemini.
• Abstract（参考訳）: 視覚トークン圧縮は視覚言語モデルの推論コストを削減する重要な手法として登場した。 既存の方法は、テキストの関連性、視覚的多様性、および両者の固定された組み合わせに基づいてトークンを選択する。 我々はこの仮定に挑戦するために体系的な分析を行う。 データセットレベルでは、ベンチマークごとの最適関連性-多様性の重み付けをグリッド検索すると、タスク間の大きなばらつきが明らかになる。 より重要なことは、サンプルレベルのオラクル重量を回収するためのサンプルごとの回答確率をさらに最大化し、それらの分布がベンチマーク間で顕著に異なるだけでなく、ベンチマーク内でのばらつきも高いことを発見したことである。 これらの観測結果に基づき,Sample-Aware Relevance-diversity balanced Visual TokEn ReductionのためのフレームワークであるSAVERを提案する。 まず、GIP(Geometric Intent Prior)をテキスト関連トークンの空間濃度から導出し、サンプル固有の関連度・多様性の重みを推定し、この重みを重み付きテキストセンタロイド(WTC)を用いて、関連性スコアと多様性のためのビジュアルマージン被覆ゲイン(VMCG)を介して共同選択する。 SAVERは追加のトレーニングを必要とせず、推論時に完全にサンプル・アウェア・バランシングを実現する。 広範な実験により、SAVERは様々なベンチマークで最先端のベースラインを一貫して上回り、LLaVA-1.5-7Bで96.5%のフルモデル性能を保ち、元のビジュアルトークンの11.1%しか持たず、さらにLLaVA-NeXTとMini-Geminiに一般化した。

関連論文リスト

• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Importance Sampling via Score-based Generative Models [12.32722207200796]
  重要度サンプリングは、重要度関数と基本PDFの積に比例した確率密度関数からのサンプリングを伴う。 本稿では,SGMを基本PDFにのみ依存する,完全にトレーニング不要なImportanceサンプリングフレームワークを提案する。 多様なデータセットやタスクにまたがって、メソッドのスケーラビリティと有効性を示す徹底的な分析を行う。
  論文  参考訳（メタデータ） (2025-02-07T04:09:03Z)
• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• RelationMatch: Matching In-batch Relationships for Semi-supervised Learning [11.423755495373907]
  半教師付き学習は、少ないラベル付きデータと豊富なラベル付きデータを活用するための重要なアプローチとして登場した。 本稿では, 行列クロスエントロピー(MCE)損失関数を用いて, バッチ内でのリレーショナル一貫性を明示的に強化する新しいSSLフレームワークであるRelationMatchを提案する。
  論文  参考訳（メタデータ） (2023-05-17T17:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。