論文の概要: AutoBench-V: Can Large Vision-Language Models Benchmark Themselves?

• arxiv url: http://arxiv.org/abs/2410.21259v2
• Date: Tue, 29 Oct 2024 12:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:14.140779
• Title: AutoBench-V: Can Large Vision-Language Models Benchmark Themselves?
• Title（参考訳）: AutoBench-V: 大規模ビジョンランゲージモデルでベンチマークは可能か?
• Authors: Han Bao, Yue Huang, Yanbo Wang, Jiayi Ye, Xiangqi Wang, Xiuying Chen, Mohamed Elhoseiny, Xiangliang Zhang,
• Abstract要約: 視覚・言語情報の統合を促進するためには,LVLM(Large Vision-Language Models)が不可欠である。 本稿では,需要評価のための自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。
• 参考スコア（独自算出の注目度）: 55.14033256706175
• License:
• Abstract: Large Vision-Language Models (LVLMs) have become essential for advancing the integration of visual and linguistic information, facilitating a wide range of complex applications and tasks. However, the evaluation of LVLMs presents significant challenges as the evaluation benchmark always demands lots of human cost for its construction, and remains static, lacking flexibility once constructed. Even though automatic evaluation has been explored in textual modality, the visual modality remains under-explored. As a result, in this work, we address a question: "Can LVLMs serve as a path to automatic benchmarking?". We introduce AutoBench-V, an automated framework for serving evaluation on demand, i.e., benchmarking LVLMs based on specific aspects of model capability. Upon receiving an evaluation capability, AutoBench-V leverages text-to-image models to generate relevant image samples and then utilizes LVLMs to orchestrate visual question-answering (VQA) tasks, completing the evaluation process efficiently and flexibly. Through an extensive evaluation of seven popular LVLMs across five demanded user inputs (i.e., evaluation capabilities), the framework shows effectiveness and reliability. We observe the following: (1) Our constructed benchmark accurately reflects varying task difficulties; (2) As task difficulty rises, the performance gap between models widens; (3) While models exhibit strong performance in abstract level understanding, they underperform in details reasoning tasks; and (4) Constructing a dataset with varying levels of difficulties is critical for a comprehensive and exhaustive evaluation. Overall, AutoBench-V not only successfully utilizes LVLMs for automated benchmarking but also reveals that LVLMs as judges have significant potential in various domains.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、視覚情報と言語情報の統合を促進するために欠かせないものであり、幅広い複雑なアプリケーションやタスクを容易にしている。 しかしながら、LVLMの評価は、評価ベンチマークが常にその構築に多くの人的コストを必要としており、安定しており、一度構築した柔軟性に欠けるため、大きな課題を呈している。 テキストのモダリティでは自動評価が検討されているが、視覚的モダリティは未探索のままである。 結果として、本研究では、「LVLMは自動ベンチマークの道として機能するのか?」という疑問に対処する。 本稿では,モデル能力の特定の側面に基づいてLVLMをベンチマークする,オンデマンドで評価を行う自動フレームワークであるAutoBench-Vを紹介する。 評価機能を受けると、AutoBench-Vはテキスト・ツー・イメージモデルを利用して関連する画像サンプルを生成し、LVLMを使用して視覚的質問応答(VQA)タスクを編成し、効率よく柔軟に評価プロセスを完成させる。 5つの要求されたユーザ入力(すなわち、評価能力)にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。 1)タスクの難易度が上がると,モデル間の性能差が大きくなる,(3)抽象レベルでの理解では高い性能を示すが,詳細な推論タスクでは性能が低下する,(4)様々な難易度を持つデータセットの構築が包括的かつ網羅的評価において重要である,といった結果が得られた。 全体として、AutoBench-V は LVLM を自動ベンチマークに活用するだけでなく、裁判官としての LVLM が様々な領域において大きな可能性を秘めていることも明らかにしている。

関連論文リスト

• Large Vision-Language Models as Emotion Recognizers in Context Awareness [14.85890824622433]
  文脈対応感情認識(CAER)は、様々な文脈から感情を知覚する必要がある複雑で重要なタスクである。 以前のアプローチは主に、イメージから感情的な手がかりを抽出する洗練されたアーキテクチャを設計することに焦点を当てていた。 本稿では,LVLM(Large Vision-Language Models)を活用したCAERタスクの実現の可能性について,体系的に検討する。
  論文  参考訳（メタデータ） (2024-07-16T01:28:06Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Large Language Models as Automated Aligners for benchmarking Vision-Language Models [48.4367174400306]
  VLM(Vision-Language Models)は新しいレベルの高度化に達し、複雑な認知と推論タスクの実行において顕著な能力を示している。 既存の評価ベンチマークは、厳密で手作りのデータセットを主に頼りにしており、人為的なモデルと人間の知性との整合性を評価する上で、重大な制限に直面している。 本研究では,LLMを有能なキュレーションとして探求し,自動データキュレーションとアセスメントによってVLMと人間の知性と価値のアライメントを測定するAuto-Benchを用いて,その限界に対処する。
  論文  参考訳（メタデータ） (2023-11-24T16:12:05Z)
• ViLMA: A Zero-Shot Benchmark for Linguistic and Temporal Grounding in Video-Language Models [28.305932427801682]
  ViLMA(ビデオ言語モデルアセスメント)は,VidLMのきめ細かい機能を評価するタスク非依存のベンチマークである。 ViLMAは、コントロールされた評価スイートを提供し、これらのモデルの真の可能性と、人間レベルの理解と比較してパフォーマンスのギャップを浮き彫りにしている。 静止画像を用いた視覚言語モデルに比べ,現在のVidLMの接地能力は良くないことを示す。
  論文  参考訳（メタデータ） (2023-11-13T02:13:13Z)
• ReForm-Eval: Evaluating Large Vision Language Models via Unified Re-Formulation of Task-Oriented Benchmarks [76.25209974199274]
  大規模視覚言語モデル(LVLM)は、視覚信号を知覚し、視覚的根拠を持つ推論を行う驚くべき能力を示す。 当社のベンチマークおよび評価フレームワークは,LVLMの開発を進めるための基盤としてオープンソース化される予定である。
  論文  参考訳（メタデータ） (2023-10-04T04:07:37Z)
• LVLM-eHub: A Comprehensive Evaluation Benchmark for Large Vision-Language Models [55.304181390027274]
  本稿では,LVLM評価ハブ(LVLM-eHub)の構築により,一般公開された大規模マルチモーダルモデルの包括的評価を行う。 我々のLVLM-eHubは、InstructBLIPやMiniGPT-4などの代表的LVLMから成り、定量的能力評価とオンラインアリーナプラットフォームによって徹底的に評価されている。 この研究は、いくつかの革新的な発見を明らかにしている。まず、インストラクタBLIPのような膨大なドメイン内データを持つ命令調整型LVLMは、多くの既存のタスクを過度にオーバーフィットさせ、オープンワールドのシナリオでは一般化が不十分である。
  論文  参考訳（メタデータ） (2023-06-15T16:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。