論文の概要: Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection

• arxiv url: http://arxiv.org/abs/2610.34685v1
• Date: Mon, 26 Oct 2026 01:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.668787
• Title: Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection
• Title（参考訳）: 良いランク付けと悪い選択 : 言語のみの視覚言語モデル選択の再考
• Abstract要約: Language-Only Vision-Language Model Selection (LOVM)は、テキスト情報のみを使用して、ターゲットタスク上で最もゼロショット精度の高いビジョン-ランゲージモデル(VLM)を特定することを目的としている。 我々は,トップ5リコールやケンドールのランク相関などのランキング指標は,選択したモデルの性能を直接評価するものではないと主張している。 我々は、最良モデルと選択モデルのパフォーマンスギャップとして定義された単純な後悔(SR)を採用し、タスク間での様々なパフォーマンス範囲を考慮しつつ、外れ値に対する感度を低下させるために、outlier-Robust Normalized Regret(ORNR)を導入している。
• 参考スコア（独自算出の注目度）: 3.6486148851646067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-Only Vision-Language Model Selection (LOVM) aims to identify the Vision-Language Model (VLM) with the highest zero-shot accuracy on a target task using only textual information. We revisit the existing LOVM evaluation protocol and argue that ranking metrics, such as top-5 recall and Kendall's rank correlation, do not directly assess the performance of the selected model. We therefore adopt simple regret (SR), defined as the performance gap between the best and selected models, and introduce Outlier-Robust Normalized Regret (ORNR) to account for the varying performance ranges across tasks while reducing sensitivity to outliers. Building on this revised evaluation protocol, we propose Target-Conditioned Expected Source Regret (TC-ESR), a training-free method that selects the model with the lowest similarity-weighted mean regret across source tasks. Across 22 target tasks and 43 VLMs, TC-ESR achieves the lowest mean SR and ORNR among all compared methods. Separately, we identify two sources of target performance leakage in the prior ranking-based evaluation protocol and provide corrections that remove both.
• Abstract（参考訳）: Language-Only Vision-Language Model Selection (LOVM)は、テキスト情報のみを使用して、ターゲットタスク上で最もゼロショット精度の高いビジョン-ランゲージモデル(VLM)を特定することを目的としている。 我々は既存のLOVM評価プロトコルを再検討し、トップ5リコールやケンドールのランク相関などのランキング指標は、選択したモデルの性能を直接評価しないと主張している。 そこで我々は,最良モデルと選択モデルのパフォーマンスギャップとして定義された単純な後悔 (SR) を採用し,外乱正規化レグレット (ORNR) を導入し,外乱に対する感度を低下させながら,タスク間の様々な性能範囲を考慮に入れた。 本改定した評価プロトコルに基づいて,ソースタスク間の類似度が低い平均後悔度を最小に設定したモデルを選択するトレーニングフリーな手法であるTarget-Conditioned expecteded Source Regret (TC-ESR)を提案する。 22の目標タスクと43のVLMのうち、TC-ESRは全ての比較手法の中で最低平均SRとORNRを達成する。 また,事前のランキングベース評価プロトコルにおいて,目標性能リークの原因を2つ同定し,両方を除去する補正を行う。

関連論文リスト

• Selector-Guided Autonomous Curriculum for One-Shot Reinforcement Learning from Verifiable Rewards [0.0]
  RLVR(Reinforcement Learning from Verifiable Rewards)は,Large Language Models(LLMs)の算数推論スキルを増強するための,非常に効果的な手法として確立されている。 静的な報酬分散の代わりに、成功確率、報酬分散、出力の不一致、意味的困難度からなる多次元特徴空間上で学習可能なセレクタモデルを用いるセレクタガイド自律カリキュラム(SGAC)アプローチを提案する。 我々のフレームワークはHendrycks MATHベンチマークを用いて評価され、Qwen2.5-Math-1.5Bモデルがベースラインとして機能する。
  論文  参考訳（メタデータ） (2026-05-03T11:10:01Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• IHEval: Evaluating Language Models on Following the Instruction Hierarchy [67.33509094445104]
  命令階層は、システムメッセージからユーザメッセージ、会話履歴、ツール出力への優先順位を定めている。 その重要性にもかかわらず、このトピックは限定的な注目を集めており、命令階層に従うモデルの能力を評価するための包括的なベンチマークが欠如している。 IHEvalは、異なる優先順位の命令が一致または矛盾するケースをカバーする、新しいベンチマークです。
  論文  参考訳（メタデータ） (2025-02-12T19:35:28Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection [4.471148909362883]
  Graph Networkへのインプシット推論は、発話間の暗黙的な抽出と、発話とオプションの抽出を目的としている。 モデルは、初めて MuTual データセットで人のパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2022-12-01T13:17:25Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。