論文の概要: First Multi-Dimensional Evaluation of Flowchart Comprehension for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2406.10057v1
- Date: Fri, 14 Jun 2024 14:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 13:25:54.924260
- Title: First Multi-Dimensional Evaluation of Flowchart Comprehension for Multimodal Large Language Models
- Title（参考訳）: マルチモーダル大言語モデルのためのフローチャート理解の最初の多次元的評価
- Authors: Enming Zhang, Ruobing Yao, Huanyong Liu, Junhui Yu, Jiale Wang,
- Abstract要約: FlowCEは、フローチャートに関連するタスクに対して、MLLM(Multimodal large language model)を評価する包括的手法である。
GPT4oモデルでさえ56.63のスコアしか得られないことがわかった。
オープンソースモデルの中で、Phi-3-Visionは49.97という最高スコアを獲得した。
- 参考スコア（独自算出の注目度）: 0.34952465649465553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of multimodal large language models (MLLMs) technology, its general capabilities are increasingly powerful. To evaluate the various abilities of MLLMs, numerous evaluation systems have emerged. But now there is still a lack of a comprehensive method to evaluate MLLMs in the tasks related to flowcharts, which are very important in daily life and work. We propose the first comprehensive method, FlowCE, to assess MLLMs across various dimensions for tasks related to flowcharts. It encompasses evaluating MLLMs' abilities in Reasoning, Localization Recognition, Information Extraction, Logical Verification, and Summarization on flowcharts. However, we find that even the GPT4o model achieves only a score of 56.63. Among open-source models, Phi-3-Vision obtained the highest score of 49.97. We hope that FlowCE can contribute to future research on multimodal large language models (MLLMs) for tasks based on flowcharts. We are open-sourcing this project: \url{https://github.com/360AILAB-NLP/FlowCE}
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)技術の開発により、その汎用能力はますます強力になっている。
MLLMの様々な能力を評価するために,多くの評価システムが登場した。
しかし、フローチャートに関連するタスクにおいてMLLMを評価するための包括的な方法がまだ存在しないため、日常生活や作業において非常に重要である。
本研究では,フローチャートに関連するタスクに対して,MLLMを様々な次元にわたって評価する最初の包括的手法であるFlowCEを提案する。
フローチャート上での推論, 局所認識, 情報抽出, 論理的検証, 要約におけるMLLMの能力を評価する。
しかし GPT4o モデルでさえ 56.63 のスコアしか得られないことがわかった。
オープンソースモデルの中で、Phi-3-Visionは49.97という最高スコアを獲得した。
フローチャートに基づくタスクのためのマルチモーダル大規模言語モデル(MLLM)の研究に,FlowCEが貢献できることを期待する。
このプロジェクトをオープンソース化する。 \url{https://github.com/360AILAB-NLP/FlowCE}
関連論文リスト
- LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。
具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。
また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T17:41:28Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - FlowLearn: Evaluating Large Vision-Language Models on Flowchart Understanding [52.35520385083425]
FlowLearnデータセットは、フローチャートの理解を強化するために設計されたリソースである。
科学的サブセットは、科学文献から得られた3,858のフローチャートを含んでいる。
シミュレーションされたサブセットには、カスタマイズ可能なスクリプトを使用して作成された10,000のフローチャートが含まれている。
論文 参考訳（メタデータ） (2024-07-06T20:58:51Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳（メタデータ） (2023-11-28T05:53:55Z) - ChEF: A Comprehensive Evaluation Framework for Standardized Assessment
of Multimodal Large Language Models [49.48109472893714]
MLLM(Multimodal Large Language Models)は、視覚コンテンツと無数の下流タスクとを相互作用する優れた能力を示す。
本稿では,各MLLMを全体プロファイルし,異なるMLLMを比較した最初の総合評価フレームワーク(ChEF)を提案する。
詳細な実装をすべて公開して、さらなる分析と、新しいレシピやモデルを統合するための使い易いモジュラーツールキットを提供します。
論文 参考訳（メタデータ） (2023-11-05T16:01:40Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳（メタデータ） (2023-06-23T09:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。