論文の概要: LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2505.15616v1
• Date: Wed, 21 May 2025 15:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.719194
• Title: LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models
• Title（参考訳）: LENS:大規模言語モデルを用いたマルチモーダル推論のマルチレベル評価
• Authors: Ruilin Yao, Bo Zhang, Jirui Huang, Xinwei Long, Yifang Zhang, Tianyu Zou, Yufei Wu, Shichao Su, Yifan Xu, Wenxi Zeng, Zhaoyu Yang, Guoyou Li, Shilan Zhang, Zichan Li, Yaxiong Chen, Shengwu Xiong, Peng Xu, Jiajun Zhang, Bowen Zhou, David Clifton, Luc Van Gool,
• Abstract要約: Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。 このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
• 参考スコア（独自算出の注目度）: 59.0256377330646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved significant advances in integrating visual and linguistic information, yet their ability to reason about complex and real-world scenarios remains limited. The existing benchmarks are usually constructed in the task-oriented manner without guarantee that different task samples come from the same data distribution, thus they often fall short in evaluating the synergistic effects of lower-level perceptual capabilities on higher-order reasoning. To lift this limitation, we contribute Lens, a multi-level benchmark with 3.4K contemporary images and 60K+ human-authored questions covering eight tasks and 12 daily scenarios, forming three progressive task tiers, i.e., perception, understanding, and reasoning. One feature is that each image is equipped with rich annotations for all tasks. Thus, this dataset intrinsically supports to evaluate MLLMs to handle image-invariable prompts, from basic perception to compositional reasoning. In addition, our images are manully collected from the social media, in which 53% were published later than Jan. 2025. We evaluate 15+ frontier MLLMs such as Qwen2.5-VL-72B, InternVL3-78B, GPT-4o and two reasoning models QVQ-72B-preview and Kimi-VL. These models are released later than Dec. 2024, and none of them achieve an accuracy greater than 60% in the reasoning tasks. Project page: https://github.com/Lens4MLLMs/lens. ICCV 2025 workshop page: https://lens4mllms.github.io/mars2-workshop-iccv2025/
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚情報と言語情報の統合において大きな進歩を遂げているが、複雑な実世界のシナリオを推論する能力は依然として限られている。 既存のベンチマークは通常、異なるタスクサンプルが同じデータ分布から来ることを保証せずにタスク指向の方法で構築されるため、高次の推論に対する低レベルの知覚能力の相乗効果を評価するのに不足することが多い。 この制限を緩和するために、Lensは3.4Kの現代画像と60K以上の人間による質問を含むマルチレベルベンチマークであり、8つのタスクと12の日次シナリオをカバーし、3つのプログレッシブなタスク層、すなわち知覚、理解、推論を形成する。 ひとつの特徴は、各イメージにすべてのタスクにリッチなアノテーションが備わっていることである。 このように、このデータセットは、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価を本質的にサポートする。 また,2025年1月以降の53%をソーシャルメディアから収集した画像も収集した。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。 これらのモデルは2024年12月以降にリリースされ、いずれも推論タスクの60%以上の精度を達成していない。 プロジェクトページ:https://github.com/Lens4MLLMs/lens。 ICCV 2025ワークショップページ:https://lens4mllms.github.io/mars2-workshop-iccv2025/

関連論文リスト

• MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities [146.4724093405187]
  MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
  論文  参考訳（メタデータ） (2024-08-01T17:59:54Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。