論文の概要: MMRel: A Relation Understanding Dataset and Benchmark in the MLLM Era
- arxiv url: http://arxiv.org/abs/2406.09121v1
- Date: Thu, 13 Jun 2024 13:51:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 17:44:14.892480
- Title: MMRel: A Relation Understanding Dataset and Benchmark in the MLLM Era
- Title（参考訳）: MMRel:MLLM時代のデータセットとベンチマークの関連性
- Authors: Jiahao Nie, Gongjie Zhang, Wenbin An, Yap-Peng Tan, Alex C. Kot, Shijian Lu,
- Abstract要約: MMRel(Multi-Modal Relation Understanding)は、Multi-Modal Large Language Models (MLLM)とのオブジェクト間関係を研究するための包括的データセットである。
MMRelには3つの特徴がある: (i) 大規模かつ高い多様性を保証する3つの異なるドメインから得られる15K以上の質問応答ペア; (ii) MLLMが幻覚によってしばしば失敗する非常に珍しい関係を持つサブセットを含む; (iii) オブジェクト間関係のために手作業で検証された高品質なラベルを提供する。
- 参考スコア（独自算出の注目度）: 72.95901753186227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the recent advancements in Multi-modal Large Language Models (MLLMs), understanding inter-object relations, i.e., interactions or associations between distinct objects, remains a major challenge for such models. This issue significantly hinders their advanced reasoning capabilities and is primarily due to the lack of large-scale, high-quality, and diverse multi-modal data essential for training and evaluating MLLMs. In this paper, we provide a taxonomy of inter-object relations and introduce Multi-Modal Relation Understanding (MMRel), a comprehensive dataset designed to bridge this gap by providing large-scale, high-quality and diverse data for studying inter-object relations with MLLMs. MMRel features three distinctive attributes: (i) It includes over 15K question-answer pairs, which are sourced from three distinct domains, ensuring large scale and high diversity; (ii) It contains a subset featuring highly unusual relations, on which MLLMs often fail due to hallucinations, thus are very challenging; (iii) It provides manually verified high-quality labels for inter-object relations. Thanks to these features, MMRel is ideal for evaluating MLLMs on relation understanding, as well as being used to fine-tune MLLMs to enhance relation understanding and even benefit overall performance in various vision-language tasks. Extensive experiments on various popular MLLMs validate the effectiveness of MMRel. Both MMRel dataset and the complete labeling scripts have been made publicly available.
- Abstract（参考訳）: MLLM(Multi-modal Large Language Models)の最近の進歩にもかかわらず、オブジェクト間の関係、すなわち異なるオブジェクト間の相互作用や関連を理解することは、そのようなモデルにとって大きな課題である。
この問題は彼らの高度な推論能力を著しく損なうものであり、主にMLLMの訓練と評価に不可欠な大規模で高品質で多様なマルチモーダルデータがないためである。
本稿では、オブジェクト間関係の分類法を提供し、MLLMとオブジェクト間関係を研究するための大規模で高品質で多様なデータを提供することにより、このギャップを橋渡しする包括的データセットであるマルチモーダル関係理解(MMRel)を導入する。
MMRelには3つの特徴がある。
(i)3つの異なる領域から派生した15万以上の質問応答対を含み、大規模かつ高い多様性を確保すること。
二 極めて特異な関係を特徴とする部分集合であって、MLLMは幻覚のためにしばしば失敗するので、非常に困難である。
三 オブジェクト間関係について、手作業で検証された高品質なラベルを提供する。
これらの特徴により、MMRelは、関係理解に基づくMLLMの評価や、関係理解を強化するためにMLLMの微調整に使われ、また様々な視覚言語タスクにおける全体的なパフォーマンスの恩恵を受けるのに最適である。
MLLMの多種多様な実験により, MMRelの有効性が検証された。
MMRelデータセットと完全なラベリングスクリプトの両方が公開されている。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - Insight Over Sight? Exploring the Vision-Knowledge Conflicts in Multimodal LLMs [55.74117540987519]
本稿では,マルチモーダル大言語モデル(MLLM)におけるコモンセンスレベルの視覚知識衝突の問題について考察する。
MLLMのコンフリクトのシミュレーションと評価を目的としたベンチマークを確立するため,人間のループ品質制御を付加した自動パイプラインを導入する。
各種モデルファミリーにおける9つの代表MLLMのコンフリクト分解能を評価し,テキストクエリに顕著なオーバー信頼度を求める。
論文 参考訳（メタデータ） (2024-10-10T17:31:17Z) - MM-R$^3$: On (In-)Consistency of Multi-modal Large Language Models (MLLMs) [26.475993408532304]
本研究では,MLLMモデルが意味論的に類似したクエリに対して,意味論的に類似あるいは同一の応答を生成する能力について検討する。
本稿では,SoTA MLLMの一貫性と精度の観点から,MM-R$3$ベンチマークを提案する。
我々の分析では、一貫性が必ずしも精度と一致していないことを示し、高い精度のモデルが必ずしも一致しているとは限らないことを示し、その逆も示している。
論文 参考訳（メタデータ） (2024-10-07T06:36:55Z) - The Labyrinth of Links: Navigating the Associative Maze of Multi-modal LLMs [42.72336063802124]
MLLM(Multi-modal Large Language Models)は印象的な能力を示す。
MLLMの欠陥の多くは、人間の知性(例えば$textite.g.$)と比較して見出されている。
観察と事前の実践記憶をリンクする人間の基本的な能力であるtextbfassociation$。
論文 参考訳（メタデータ） (2024-10-02T10:58:54Z) - Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。
また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。
以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
論文 参考訳（メタデータ） (2024-08-22T23:32:42Z) - The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。
一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。
MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
論文 参考訳（メタデータ） (2024-07-11T15:08:11Z) - MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs [38.93090238335506]
非意味な入力属性と予測対象変数の急激な相関を利用する傾向にあるスパースバイアスは、単一のモダリティデータに基づいて訓練されたディープラーニングモデルに深刻な落とし穴があることを明らかにした。
本稿では,9つの異なる相関関係のカテゴリに対するMLLMの信頼度を評価するために,包括的視覚質問応答(VQA)ベンチマークであるMM-SpuBenchを紹介する。
以上の結果から,これらのモデルからの素因相関への依存の持続性を明らかにし,素因バイアスを緩和する新たな手法の必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-06-24T20:29:16Z) - GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs [3.2688425993442696]
画像中の物体間の空間的関係を理解する能力は、視覚的推論の重要な構成要素である。
我々は、以前リリースされたWhat'sUpデータセットを拡張し、空間関係理解のための新しい包括的評価を提案する。
論文 参考訳（メタデータ） (2024-06-19T06:15:26Z) - Mementos: A Comprehensive Benchmark for Multimodal Large Language Model
Reasoning over Image Sequences [80.54979242912944]
本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。
MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
論文 参考訳（メタデータ） (2024-01-19T07:10:13Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。