論文の概要: What We are Missing in Multimodal LLM Evaluation?

• arxiv url: http://arxiv.org/abs/2606.26348v1
• Date: Wed, 24 Jun 2026 19:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.065318
• Title: What We are Missing in Multimodal LLM Evaluation?
• Title（参考訳）: マルチモーダルLCM評価に何が欠けているのか?
• Abstract要約: MLLM(Multimodal large language model)は、テキスト、画像、オーディオ、ビデオなどの様々な入力を処理し、テキスト応答を生成する。 既存の評価ベンチマークのほとんどは、独立したタスクに限定されており、モデルがモダリティを越えて情報を統合するかどうかについてはほとんど明らかになっていない。 MLLMを評価するための現在の手段について検討し、時間空間コヒーレンス、物理世界理解、マルチモーダル一貫性、選択的注意などのギャップを特定するために既存のベンチマーク分類をレビューする。
• 参考スコア（独自算出の注目度）: 23.144642468756032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) can process diverse inputs, e.g., text, images, audio, and video, and generate textual responses. While their capabilities have advanced rapidly, evaluation of such models has not kept pace. Most existing evaluation benchmarks are limited to isolated tasks and reveal little about whether a model integrates information across modalities. We examine current means for evaluating MLLMs and review the existing benchmark taxonomy to identify gaps, including temporal-spatial coherence, physical world understanding, multimodal consistency, and selective attention. Addressing these gaps is essential for measuring real progress in multimodal intelligence and exposing capability boundaries.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、テキスト、画像、オーディオ、ビデオなどの様々な入力を処理し、テキスト応答を生成する。 それらの能力は急速に進歩しているが、そのようなモデルの評価はペースを保っていない。 既存の評価ベンチマークのほとんどは、独立したタスクに限定されており、モデルがモダリティを越えて情報を統合するかどうかについてはほとんど明らかになっていない。 MLLMを評価するための現在の手段について検討し、時間空間コヒーレンス、物理世界理解、マルチモーダル一貫性、選択的注意などのギャップを特定するために既存のベンチマーク分類をレビューする。 これらのギャップに対処することは、マルチモーダルインテリジェンスにおける真の進歩を計測し、能力境界を明らかにするために不可欠である。

関連論文リスト

• LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
  本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。 本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T06:11:42Z)
• XFacta: Contemporary, Real-World Dataset and Evaluation for Multimodal Misinformation Detection with Multimodal LLMs [7.535905996650162]
  マルチモーダル大言語モデル (MLLM) はこの課題に対処する可能性を示している。 既存のベンチマークには時代遅れのイベントが含まれており、評価バイアスにつながる。 我々は,MLLMに基づく検出器の評価に適した,現代の実世界のデータセットであるXFactaを紹介する。
  論文  参考訳（メタデータ） (2025-08-04T14:14:52Z)
• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
  我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。 また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。 以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
  論文  参考訳（メタデータ） (2024-08-22T23:32:42Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• Needle In A Multimodal Haystack [79.81804334634408]
  本稿では,従来のMLLMの長大なマルチモーダル文書の理解能力を評価するために設計された,最初のベンチマークを示す。 我々のベンチマークには、マルチモーダル検索、カウント、推論の3種類の評価タスクが含まれている。 既存のモデルには、これらのタスク、特に視覚中心の評価において、改善の余地がまだ残っていることを観察する。
  論文  参考訳（メタデータ） (2024-06-11T13:09:16Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。