Fugu-MT 論文翻訳(概要): Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models

論文の概要: Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models

arxiv url: http://arxiv.org/abs/2406.11230v1
Date: Mon, 17 Jun 2024 05:54:06 GMT
ステータス: 処理完了
システム内更新日: 2024-06-18 18:14:15.072464
Title: Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models
Title（参考訳）: ヘイスタックにおけるマルチモーダルニードル:マルチモーダル大言語モデルの長期能力のベンチマーク
Authors: Hengyi Wang, Haizhou Shi, Shiwei Tan, Weiyi Qin, Wenyuan Wang, Tunyu Zhang, Akshay Nambi, Tanuja Ganu, Hao Wang,
Abstract要約: 本稿では,MultiModal Needle-in-a-haystack(MMNeedle)ベンチマークを導入する。画像ステッチを用いて、入力コンテキスト長をさらに増加させ、サブイメージレベルの検索のためのラベルを自動的に生成するプロトコルを開発する。我々は、APIベースモデルとオープンソースモデルの両方を含む最先端のMLLMを評価した。
参考スコア（独自算出の注目度）: 10.41857522464292
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal Large Language Models (MLLMs) have shown significant promise in various applications, leading to broad interest from researchers and practitioners alike. However, a comprehensive evaluation of their long-context capabilities remains underexplored. To address these gaps, we introduce the MultiModal Needle-in-a-haystack (MMNeedle) benchmark, specifically designed to assess the long-context capabilities of MLLMs. Besides multi-image input, we employ image stitching to further increase the input context length, and develop a protocol to automatically generate labels for sub-image level retrieval. Essentially, MMNeedle evaluates MLLMs by stress-testing their capability to locate a target sub-image (needle) within a set of images (haystack) based on textual instructions and descriptions of image contents. This setup necessitates an advanced understanding of extensive visual contexts and effective information retrieval within long-context image inputs. With this benchmark, we evaluate state-of-the-art MLLMs, encompassing both API-based and open-source models. The findings reveal that GPT-4o consistently surpasses other models in long-context scenarios, but suffers from hallucination problems in negative samples, i.e., when needles are not in the haystacks. Our comprehensive long-context evaluation of MLLMs also sheds lights on the considerable performance gap between API-based and open-source models. All the code, data, and instructions required to reproduce the main results are available at https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は様々な応用において大きな可能性を示しており、研究者や実践者からも広く関心を集めている。しかし、その長期的コンテキスト能力に関する包括的な評価はいまだに未検討である。これらのギャップに対処するために、MLLMの長期コンテキスト能力を評価するために特別に設計されたMultiModal Needle-in-a-haystack(MMNeedle)ベンチマークを導入する。マルチイメージ入力の他に、画像ステッチを用いて、入力コンテキスト長をさらに向上させ、サブイメージレベルの検索のためのラベルを自動的に生成するプロトコルを開発する。本質的には、MMNeedleは、テキストの指示と画像内容の記述に基づいて、一連の画像(haystack)の中にターゲットサブイメージ(needle)を見つける能力をストレステストすることでMLLMを評価する。この設定は、広義の視覚的コンテキストの高度な理解と、長文画像入力における効果的な情報検索を必要とする。本ベンチマークでは,APIベースモデルとオープンソースモデルの両方を含む最先端MLLMを評価した。この結果から、GPT-4oは長いコンテキストシナリオにおいて他のモデルより一貫して上回るが、負のサンプル、すなわち針が干し草にない場合の幻覚障害に悩まされていることが明らかとなった。 MLLMの包括的な長期コンテキスト評価では、APIベースモデルとオープンソースモデルの間の大幅なパフォーマンスギャップにも光を当てています。主要な結果の再現に必要なコード、データ、命令はすべてhttps://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack.comから入手できる。

関連論文リスト

MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
論文参考訳（メタデータ） (2024-10-16T07:52:57Z)
Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
論文参考訳（メタデータ） (2024-08-19T17:02:06Z)
MIBench: Evaluating Multimodal Large Language Models over Multiple Images [70.44423964171088]
マルチイメージシナリオにおけるMLLMの微粒化能力を包括的に評価する新しいベンチマークMIBenchを提案する。具体的には、MIBenchはマルチモーダル・インコンテクスト・ラーニング(MIC)とマルチモーダル・インコンテクスト・ラーニング(MIC)の3つのシナリオに分類する。その結果、現在のモデルでは単一画像のタスクが優れているが、複数画像の入力に直面すると大きな欠点が現れることがわかった。
論文参考訳（メタデータ） (2024-07-21T21:22:58Z)
MileBench: Benchmarking MLLMs in Long Context [31.211260223575092]
MLLMのMultImodal Long-contExt機能をテストするためのベンチマークであるMileBenchを紹介する。 MLLMの長文適応能力と長文シナリオにおけるタスク完了能力を体系的に評価する。その結果、オープンソースGPT-4oは他よりも優れているが、ほとんどのオープンソースMLLMは長期的文脈で苦労していることがわかった。
論文参考訳（メタデータ） (2024-04-29T09:19:05Z)
Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文参考訳（メタデータ） (2024-03-05T13:45:46Z)
Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
論文参考訳（メタデータ） (2024-02-27T08:27:15Z)
CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文参考訳（メタデータ） (2024-02-21T08:21:12Z)
SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文参考訳（メタデータ） (2023-11-28T05:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。