論文の概要: PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.27395v1
• Date: Wed, 23 Sep 2026 05:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.902838
• Title: PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models
• Title（参考訳）: PRISM-VLM:コンパクトビジョンランゲージモデルのためのマルチ軸判別ベンチマーク
• Abstract要約: PRISM-VLMは、繰り返し発生する障害モードをカバーする7つの軸に沿って各項目をスコアする多軸判別ベンチマークである。 PScoreは、アイテムレベルのペアリングブートストラップの下で、以前の単軸ベンチマークよりも確実にモデルペアを分離する。 統計的に区別できないPScoreを持つモデルでさえ、軸あたりのプロファイルに沿って急激に分岐する。
• 参考スコア（独自算出の注目度）: 22.135748869420993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact vision-language models (VLMs) now power a growing share of multimodal applications. The benchmarks used to compare them, however, inherit a frontier-centric design: each model is reduced to a single accuracy number, narrowing the inter-model gap on saturated suites and pressing models into low-score bands on harder ones. We introduce PRISM-VLM, a multi-axis discriminative benchmark that scores every item along seven axes covering the recurring failure modes (task quality, behavioral robustness, and capability bottlenecks) and combines them into a single PScore, with items recycled from fifteen public benchmarks. Across compact VLMs from the past two years, PScore separates model pairs more reliably than prior single-axis benchmarks under an item-level paired bootstrap, and surfaces behavioral differences these benchmarks average away. Even models with statistically indistinguishable PScores diverge sharply along the per-axis profile, particularly on sycophancy, which is nearly orthogonal to single-prompt accuracy. We will release the full pipeline, prompts, and per-item annotations.
• Abstract（参考訳）: コンパクトビジョン言語モデル(VLM)は、今やマルチモーダルアプリケーションのシェアを拡大している。 それぞれのモデルは1つの精度に減らされ、飽和スイートのモデル間ギャップを狭め、より難しいスイートの低スコアバンドにモデルを押し込む。 PRISM-VLMは、繰り返し発生する障害モード(タスク品質、振る舞いの堅牢性、能力ボトルネック)をカバーする7つの軸に沿って各項目をスコア付けし、それらを1つのPScoreに結合し、15の公開ベンチマークからリサイクルする多軸判別ベンチマークである。 過去2年間のコンパクトなVLM全体で、PScoreはアイテムレベルのペアリングブートストラップの下で、以前の単軸ベンチマークよりも信頼性の高いモデルペアを分離し、これらのベンチマークの平均的な振る舞いの違いを表面化する。 統計的に区別できないPScoreを持つモデルでさえ、特に単一プロンプト精度とほぼ直交するサイコファンシーにおいて、軸あたりのプロファイルに沿って急激に分岐する。 完全なパイプライン、プロンプト、イテム単位のアノテーションをリリースします。

関連論文リスト

• The Capability Frontier: Benchmarks Miss 82% of Model Performance [7.258179693117413]
  既存のベンチマークでは、1回のランで1つのモデルの精度が報告されるのが一般的である。 これにより、実世界のLLM能力、特に異種データ分布を体系的に下降させる。
  論文  参考訳（メタデータ） (2026-06-25T10:20:47Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• LLM Swiss Round: Aggregating Multi-Benchmark Performance via Competitive Swiss-System Dynamics [23.99262273166077]
  大規模言語モデル(LLM)と多様な特殊なベンチマークでは、断片化されたタスク固有のメトリクスから、総合的で競争的なランキングシステムに移行する必要がある。 本稿では,コンペティティブ・スイス・システム・ダイナミクス (CSD) フレームワークを紹介し,シーケンシャル・コンテストをシミュレートする。 CSDは従来のアグリゲーションスコアリングや静的ペアワイズモデルよりもニュアンスでコンテキスト対応のランキングを提供する。
  論文  参考訳（メタデータ） (2025-12-24T07:14:31Z)
• CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
  CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。 CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。 これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
  論文  参考訳（メタデータ） (2025-06-24T17:30:27Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
  マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。 異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。 提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• MM-SHAP: A Performance-agnostic Metric for Measuring Multimodal Contributions in Vision and Language Models & Tasks [20.902155496422417]
  視覚と言語モデルは、各モダリティにおける関連情報に焦点をあてるのではなく、個々のモダリティにおける不正な指標を利用する。 MM-SHAPは,シェープリー値に基づく性能非依存のマルチモーダリティスコアである。
  論文  参考訳（メタデータ） (2022-12-15T21:41:06Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。