論文の概要: OIG-Bench: A Multi-Agent Annotated Benchmark for Multimodal One-Image Guides Understanding

• arxiv url: http://arxiv.org/abs/2510.00069v1
• Date: Mon, 29 Sep 2025 15:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.158169
• Title: OIG-Bench: A Multi-Agent Annotated Benchmark for Multimodal One-Image Guides Understanding
• Title（参考訳）: OIG-Bench:マルチモーダルワンイメージガイド理解のためのマルチエージェントアノテーションベンチマーク
• Authors: Jiancong Xie, Wenjin Wang, Zhuomeng Zhang, Zihan Liu, Qi Liu, Ke Feng, Zixun Sun, Yuedong Yang,
• Abstract要約: OIG-Benchは、様々な領域にわたるワンイメージガイド理解に焦点を当てたベンチマークである。 我々は、プロプライエタリモデルとオープンソースモデルの両方を含む29の最先端MLLMの総合評価を行った。 その結果,Qwen2.5-VL-72Bは評価モデルの中で最高の性能を示し,全体の精度は77%であった。
• 参考スコア（独自算出の注目度）: 26.45873982159107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have demonstrated impressive capabilities. However, evaluating their capacity for human-like understanding in One-Image Guides remains insufficiently explored. One-Image Guides are a visual format combining text, imagery, and symbols to present reorganized and structured information for easier comprehension, which are specifically designed for human viewing and inherently embody the characteristics of human perception and understanding. Here, we present OIG-Bench, a comprehensive benchmark focused on One-Image Guide understanding across diverse domains. To reduce the cost of manual annotation, we developed a semi-automated annotation pipeline in which multiple intelligent agents collaborate to generate preliminary image descriptions, assisting humans in constructing image-text pairs. With OIG-Bench, we have conducted a comprehensive evaluation of 29 state-of-the-art MLLMs, including both proprietary and open-source models. The results show that Qwen2.5-VL-72B performs the best among the evaluated models, with an overall accuracy of 77%. Nevertheless, all models exhibit notable weaknesses in semantic understanding and logical reasoning, indicating that current MLLMs still struggle to accurately interpret complex visual-text relationships. In addition, we also demonstrate that the proposed multi-agent annotation system outperforms all MLLMs in image captioning, highlighting its potential as both a high-quality image description generator and a valuable tool for future dataset construction. Datasets are available at https://github.com/XiejcSYSU/OIG-Bench.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は印象的な能力を示している。 しかし,One-Image Guidesにおける人間的な理解能力の評価は不十分なままである。 ワンイメージガイド(One-Image Guides)は、テキスト、画像、シンボルを組み合わせた視覚的フォーマットで、人間の視界と理解の特徴を本質的に具現化し、理解しやすいように再構成され構造化された情報を提供する。 本稿では,OIG-Benchについて紹介する。OIG-Benchは,多様な領域にわたるワンイメージガイドの理解に焦点を当てた総合ベンチマークである。 手動アノテーションのコストを削減するために,複数のインテリジェントエージェントが協調して画像記述を生成する半自動アノテーションパイプラインを開発した。 OIG-Benchでは,プロプライエタリモデルとオープンソースモデルを含む29の最先端MLLMの総合評価を行った。 その結果,Qwen2.5-VL-72Bは評価モデルの中で最高の性能を示し,全体の精度は77%であった。 しかしながら、全てのモデルは意味的理解と論理的推論において顕著な弱点を示しており、現在のMLLMは複雑な視覚的テキスト関係を正確に解釈するのに依然として苦労していることを示している。 さらに,提案するマルチエージェントアノテーションシステムは画像キャプションにおけるすべてのMLLMよりも優れており,高品質な画像記述生成と将来的なデータセット構築に有用なツールとしての可能性を強調している。 データセットはhttps://github.com/XiejcSYSU/OIG-Bench.comで入手できる。

関連論文リスト

• ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models [82.04858317800097]
  ForenXは画像の真正性を識別するだけでなく、人間の思考に共鳴する説明を提供する新しい手法である。 ForenXは、強力なマルチモーダル大言語モデル(MLLM)を使用して、法医学的な手がかりを分析し、解釈する。 本稿では,AI生成画像における偽証拠の記述専用のデータセットであるForgReasonを紹介する。
  論文  参考訳（メタデータ） (2025-08-02T15:21:26Z)
• Aligning Vision to Language: Annotation-Free Multimodal Knowledge Graph Construction for Enhanced LLMs Reasoning [10.761218096540976]
  LLM(Large Language Models)におけるマルチモーダル推論は、不完全な知識と幻覚に苦しむ。 本稿では,マルチモーダルな知識グラフを構築するための新しいアプローチであるVaLiK(Vision-Align-to-Language Integrated Knowledge Graph)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T09:31:14Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• ASCIIEval: Benchmarking Models' Visual Perception in Text Strings via ASCII Art [83.95594027644124]
  我々は,この問題を認識タスクとみなし,新しいベンチマークASCIIEvalを構築した。 精巧な分類木を持つ3Kサンプルに加えて、さらなる拡張のためのトレーニングセットもカバーしている。 テキスト入力が与えられた言語モデルは、ASCIIアートの概念に基づいて視覚的知覚能力を示す。 画像入力において,オープンソースのMLLMは,微細なテキスト認識と集合的視覚知覚のトレードオフに悩まされていることが明らかになった。
  論文  参考訳（メタデータ） (2024-10-02T16:46:01Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。