論文の概要: Robin: a Suite of Multi-Scale Vision-Language Models and the CHIRP Evaluation Benchmark

• arxiv url: http://arxiv.org/abs/2501.09672v2
• Date: Tue, 21 Jan 2025 01:04:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:15.932504
• Title: Robin: a Suite of Multi-Scale Vision-Language Models and the CHIRP Evaluation Benchmark
• Title（参考訳）: Robin: マルチスケールビジョンランゲージモデルとCHIRP評価ベンチマークのスイート
• Authors: Alexis Roger, Prateek Humane, Daniel Z. Kaplan, Kshitij Gupta, Qi Sun, George Adamopoulos, Jonathan Siu Chi Lim, Quentin Anthony, Edwin Fennell, Irina Rish,
• Abstract要約: 近年のVLM(Vision-Language Models)の普及は、厳密で包括的な評価手法とベンチマークを求めている。 この研究は、自動化されたメトリクス、AIベースの評価、さまざまなタスクにわたる人的評価を含む、既存のVLM評価技術を分析する。
• 参考スコア（独自算出の注目度）: 22.128954880120222
• License:
• Abstract: The proliferation of Vision-Language Models (VLMs) in the past several years calls for rigorous and comprehensive evaluation methods and benchmarks. This work analyzes existing VLM evaluation techniques, including automated metrics, AI-based assessments, and human evaluations across diverse tasks. We first introduce Robin - a novel suite of VLMs that we built by combining Large Language Models (LLMs) and Vision Encoders (VEs) at multiple scales, and use Robin to identify shortcomings of current evaluation approaches across scales. Next, to overcome the identified limitations, we introduce CHIRP - a new long form response benchmark we developed for more robust and complete VLM evaluation. We provide open access to the Robin training code, model suite, and CHIRP benchmark to promote reproducibility and advance VLM research.
• Abstract（参考訳）: 近年のVLM(Vision-Language Models)の普及は、厳密で包括的な評価手法とベンチマークを求めている。 この研究は、自動化されたメトリクス、AIベースの評価、さまざまなタスクにわたる人的評価を含む、既存のVLM評価技術を分析する。 Robin - LLM(Large Language Models)とVE(Vision Encoders)を複数スケールで組み合わせて構築した、新しいVLMスイートです。 次に、特定された制限を克服するため、より堅牢で完全なVLM評価のために開発した新しい長文応答ベンチマークであるCHIRPを導入する。 我々は,再現性の向上とVLM研究の進展を促進するために,Robinトレーニングコード,モデルスイート,CHIRPベンチマークへのオープンアクセスを提供する。

関連論文リスト

• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Benchmarking Vision, Language, & Action Models on Robotic Learning Tasks [20.93006455952299]
  視覚言語アクション(VLA)モデルは汎用ロボットシステムを開発する上で有望な方向を示す。 VLAモデルを評価するための総合的な評価フレームワークとベンチマークスイートを提案する。
  論文  参考訳（メタデータ） (2024-11-04T18:01:34Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Large Language Model Evaluation Via Multi AI Agents: Preliminary results [3.8066447473175304]
  本稿では,多言語モデル(LLM)の性能評価と比較を目的とした,新しいマルチエージェントAIモデルを提案する。 我々のモデルは8つの異なるAIエージェントで構成されており、それぞれが異なる先進言語モデルから共通の記述に基づいてコードを取得する責任がある。 我々はHumanEvalベンチマークを検証エージェントに統合し、生成されたコードのパフォーマンスを評価し、それぞれの能力と効率について洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-01T10:06:04Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation [31.062433484245684]
  Prometheus-Visionは,評価中のユーザ定義スコアの理解が可能な,オープンソースのVLM評価モデルである。 Prometheus-Visionは、オープンソースのモデルの中で、人間の評価器とGPT-4Vとピアソンの相関が最も高いことを示している。
  論文  参考訳（メタデータ） (2024-01-12T14:19:23Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [153.37868034779385]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。