論文の概要: Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2412.12606v1
• Date: Tue, 17 Dec 2024 07:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:25.072976
• Title: Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models
• Title（参考訳）: 多次元インサイト:大規模マルチモーダルモデルにおける実世界のパーソナライゼーションのベンチマーク
• Authors: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang,
• Abstract要約: 人間の生活の一般的な6つのシナリオをカバーする500以上の画像を含む多次元インサイト(Multi-dimensional Insights)ベンチマークを提案する。 この設計により、異なる年齢集団の好みやニーズを満たすLMMの能力を詳細に評価することができる。 今後、MDI-BenchmarkがLMMにおける現実のパーソナライゼーションを整合させる新たな経路を開拓することを期待している。
• 参考スコア（独自算出の注目度）: 10.828419851213528
• License:
• Abstract: The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の急速な発展は、顕著な能力を持つ多様なモデルの出現につながった。 しかし、既存のベンチマークでは、LMMが現実世界のシナリオにおける人間の多様なニーズに合致するかどうかを包括的、客観的、正確に評価することができない。 このギャップを埋めるために、500以上の画像を含むMulti-dimensional Insights(MDI)ベンチマークを提案する。 特に、MDI-Benchmarkは、(1)各画像には、画像に対するモデルの理解を評価するための単純な質問と、基本的コンテンツを超えて分析し、推論するモデルの能力を評価する複雑な質問の2つのタイプがある。 2) 異なる年齢集団の人々が同じシナリオに直面した場合,様々なニーズや視点を持っていることを認識し,我々のベンチマークは質問を,若年者,中年者,高齢者の3つの年齢カテゴリーに分類した。 この設計により、異なる年齢集団の好みやニーズを満たすLMMの能力を詳細に評価することができる。 MDI-Benchmarkでは、GPT-4oのような強力なモデルが、年齢関連のタスクに対して79%の精度を実現している。 今後、MDI-BenchmarkがLMMにおける現実のパーソナライゼーションを整合させる新たな経路を開拓することを期待している。 MDI-Benchmarkのデータと評価コードはhttps://mdi-benchmark.github.io/で公開されている。

関連論文リスト

• OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning [72.57452266982642]
  テキスト認識のための大規模バイリンガルテキスト中心ベンチマークであるOCRBench v2を紹介する。 その結果,22 LMM中20 LMMは50点未満(合計100点)で,5種類の制限があることがわかった。
  論文  参考訳（メタデータ） (2024-12-31T07:32:35Z)
• Ranked from Within: Ranking Large Multimodal Models for Visual Question Answering Without Labels [64.94853276821992]
  大規模マルチモーダルモデル(LMM)は、様々なアプリケーションにまたがってますます展開されている。 従来の評価方法は、主にデータセット中心であり、固定されたラベル付きデータセットと教師付きメトリクスに依存している。 ソフトマックス確率などの不確実性信号を利用したLMMの教師なしモデルランキングについて検討する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• CAMEL-Bench: A Comprehensive Arabic LMM Benchmark [10.20074702234283]
  我々は,4億人以上の話者を対象とするアラビア語の総合的LMM評価ベンチマークを開発した。 提案するベンチマークは,マルチイメージ理解,複雑な視覚知覚,手書き文書理解,ビデオ理解,医用画像,植物病,リモートセンシングによる土地利用理解を含む8つのサブドメインと38のサブドメインから構成される。
  論文  参考訳（メタデータ） (2024-10-24T17:59:38Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• UrBench: A Comprehensive Benchmark for Evaluating Large Multimodal Models in Multi-View Urban Scenarios [60.492736455572015]
  複雑な多視点都市シナリオにおけるLMM評価のためのベンチマークであるUrBenchを提案する。 UrBenchには、リージョンレベルとロールレベルの両方で、厳密にキュレートされた11.6Kの質問が含まれている。 21のLMMに対する評価は、現在のLMMが都市環境においていくつかの面で苦戦していることを示している。
  論文  参考訳（メタデータ） (2024-08-30T13:13:35Z)
• Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
  大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。 視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。 本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:59:34Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [153.37868034779385]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。