論文の概要: Diversity Matters: Revisiting Test-Time Compute in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.30713v1
• Date: Fri, 29 May 2026 01:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.320943
• Title: Diversity Matters: Revisiting Test-Time Compute in Vision-Language Models
• Title（参考訳）: 多様性 - ビジョンランゲージモデルにおけるテスト時間計算の再検討
• Abstract要約: テスト時の計算戦略は、大規模言語モデルにおける推論を強化するための軽量なアプローチとして現れている。 本稿では,予測エントロピーに基づいて最も確実な予測を選択するエントロピーに基づくTTCを提案する。 ETTCは、軽度の仮定で多数決よりも優れており、投票と最高の個人モデルの両方を一貫して上回っていることを実証的に実証している。
• 参考スコア（独自算出の注目度）: 60.9932576020062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time compute (TTC) strategies have emerged as a lightweight approach to boost reasoning in large language models (LLMs). However, their application and benefits for vision-language models (VLMs) remain underexplored. We present a systematic study of TTC across seven VLMs and six benchmarks, specifically analyzing feature-based scoring and majority voting methods. We find that feature heuristics fail and voting yields only modest gains in single-model settings. We theoretically show that this limitation stems from a lack of prediction diversity: when outputs are highly correlated, voting provides little benefit. In contrast, multi-model ensembles offer richer diversity, yet standard majority voting fails to account for varying model capabilities. To address this, we propose Entropy-based TTC (ETTC), which selects the most confident prediction based on predictive entropy. Our method reduces to majority voting in the single-model case, but in model ensembles, it leverages confidence disparities to prioritize stronger models. We prove that ETTC outperforms majority voting under mild assumptions and empirically demonstrate that it consistently surpasses both voting and the best individual model. Crucially, our results show that smaller models can synergistically enhance larger ones, unlocking ensembling gains not achievable with standard strategies.
• Abstract（参考訳）: テスト時間計算(TTC)戦略は、大規模言語モデル(LLM)における推論を強化するための軽量なアプローチとして登場した。 しかしながら、視覚言語モデル(VLM)の応用と利点はいまだに未検討である。 本稿では、7つのVLMと6つのベンチマークを対象とし、特徴に基づくスコアリングと多数決の方法を分析する。 機能ヒューリスティックは失敗し、単一のモデル設定で投票で得られる利得はわずかである。 我々はこの制限が予測の多様性の欠如に起因することを理論的に示している。 対照的に、マルチモデルアンサンブルはよりリッチな多様性を提供するが、標準的な多数決は様々なモデル機能を考慮していない。 そこで本研究では,予測エントロピーに基づいて最も確実な予測を行うETTC(Entropy-based TTC)を提案する。 本手法は単一モデルの場合において多数決に還元されるが,モデルアンサンブルでは信頼性の相違を利用してより強いモデルを優先する。 ETTCは、軽度の仮定で多数決よりも優れており、投票と最高の個人モデルの両方を一貫して上回っていることを実証的に実証している。 重要なことは、我々の結果は、より小さなモデルが相乗的により大きなモデルを強化し、標準戦略では達成できないエンハンブルゲインを解き放つことを示している。

関連論文リスト

• CAMO: A Class-Aware Minority-Optimized Ensemble for Robust Language Model Evaluation on Imbalanced Data [0.5097809301149341]
  我々はCAMO(Class-Aware Minority-d)と呼ばれる不均衡問題に対するユニークなアンサンブル技術を提供する。 投票分布、信頼度校正、モデル間不確実性を組み込んだ階層的な手続きを通じて、CAMOは少数派予測の保存と増幅をしながら、過小評価されたクラスを動的に促進する。 8つの異なる言語モデル(3つのLLMと5つのSLM)を用いて,ゼロショットおよび微調整条件下で7つのアンサンブルアルゴリズムをベンチマークした。
  論文  参考訳（メタデータ） (2026-04-08T20:37:10Z)
• Learning to Trust the Crowd: A Multi-Model Consensus Reasoning Engine for Large Language Models [0.0]
  大規模言語モデル(LLM)は平均年齢のパフォーマンスは高いが、インスタンスレベルでは信頼性が低い。 本稿では,LLM出力の集合を教師付きメタラーナへの入力として扱うマルチモデル・コンセンサス・推論エンジンを提案する。 このシステムは、自然言語の応答をセマンティックな埋め込み、ペアの類似性とクラスタリング統計、語彙的および構造的手がかり、推論品質スコア、信頼度推定、モデル固有の事前情報を用いて構造化された特徴にマッピングする。
  論文  参考訳（メタデータ） (2026-01-12T06:27:06Z)
• Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning [12.354777054071379]
  テスト時間強化学習は、多数決結果を擬似ラベルとして使用することにより、注釈付きデータへの依存を軽減する。 この投票戦略は、しばしば確認バイアスを引き起こし、スパース報酬に悩まされ、全体的なパフォーマンスが制限される。 これらの問題に対処するために,サブグループ固有のステップワイド信頼度重み付き擬似ラベル推定(SCOPE)を提案する。
  論文  参考訳（メタデータ） (2025-12-17T07:21:54Z)
• Boosting Multi-modal Keyphrase Prediction with Dynamic Chain-of-Thought in Vision-Language Models [28.416254061159176]
  マルチモーダルキーフレーズ予測(MMKP)は、テキストのみの手法を超えて進歩することを目的としている。 従来のマルチモーダルアプローチは、困難な不在と目に見えないシナリオを扱う上で、重大な制限があることが証明されている。 MMKPタスクに視覚言語モデル(VLM)を活用することを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:13:07Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• Explicit Reasoning Makes Better Judges: A Systematic Study on Accuracy, Efficiency, and Robustness [12.513874407270142]
  我々は,Large Language Models (LLMs) と "thinking" と "non-thinking" の体系的比較を示す。 RewardBenchタスクの精度と計算効率(FLOP)を評価した。 以上の結果から,思考モデルの精度は10%程度向上し,オーバーヘッドは少なかった。
  論文  参考訳（メタデータ） (2025-09-09T18:36:02Z)
• More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
  直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。 我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。 選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
  論文  参考訳（メタデータ） (2025-04-03T00:36:40Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。