論文の概要: Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2510.00507v1
• Date: Wed, 01 Oct 2025 04:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.385537
• Title: Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs
• Title（参考訳）: Graph2Eval:知識グラフによるエージェントの自動マルチモーダルタスク生成
• Authors: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang,
• Abstract要約: マルチモーダル文書理解タスクとWebインタラクションタスクの両方を自動的に生成する知識グラフベースのフレームワークであるGraph2Evalを提案する。 Graph2Eval-Benchはドキュメントの理解とWebインタラクションのシナリオにまたがる1,319のタスクのキュレートされたデータセットです。 実験によると、Graph2Evalは、エージェントとモデルのパフォーマンスを区別するタスクを効率的に生成し、異なる設定間での推論、コラボレーション、Webインタラクションのギャップを明らかにする。
• 参考スコア（独自算出の注目度）: 38.93261732451012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As multimodal LLM-driven agents continue to advance in autonomy and generalization, evaluation based on static datasets can no longer adequately assess their true capabilities in dynamic environments and diverse tasks. Existing LLM-based synthetic data methods are largely designed for LLM training and evaluation, and thus cannot be directly applied to agent tasks that require tool use and interactive capabilities. While recent studies have explored automatic agent task generation with LLMs, most efforts remain limited to text or image analysis, without systematically modeling multi-step interactions in web environments. To address these challenges, we propose Graph2Eval, a knowledge graph-based framework that automatically generates both multimodal document comprehension tasks and web interaction tasks, enabling comprehensive evaluation of agents' reasoning, collaboration, and interactive capabilities. In our approach, knowledge graphs constructed from multi-source external data serve as the task space, where we translate semantic relations into structured multimodal tasks using subgraph sampling, task templates, and meta-paths. A multi-stage filtering pipeline based on node reachability, LLM scoring, and similarity analysis is applied to guarantee the quality and executability of the generated tasks. Furthermore, Graph2Eval supports end-to-end evaluation of multiple agent types (Single-Agent, Multi-Agent, Web Agent) and measures reasoning, collaboration, and interaction capabilities. We instantiate the framework with Graph2Eval-Bench, a curated dataset of 1,319 tasks spanning document comprehension and web interaction scenarios. Experiments show that Graph2Eval efficiently generates tasks that differentiate agent and model performance, revealing gaps in reasoning, collaboration, and web interaction across different settings and offering a new perspective for agent evaluation.
• Abstract（参考訳）: マルチモーダルLLM駆動エージェントは、自律性と一般化の進歩を続けるため、静的データセットに基づく評価は、動的環境や多様なタスクにおいて、その真の能力を適切に評価することができない。 既存のLLMベースの合成データ手法は、主にLLMのトレーニングと評価のために設計されており、ツールの使用や対話的な機能を必要とするエージェントタスクに直接適用することはできない。 近年, LLMを用いた自動エージェントタスク生成について検討されているが, ウェブ環境におけるマルチステップインタラクションを体系的にモデル化することなく, テキストや画像解析に限られている。 このような課題に対処するため,マルチモーダル文書理解タスクとWebインタラクションタスクの両方を自動的に生成する知識グラフベースのフレームワークであるGraph2Evalを提案する。 提案手法では,マルチソース外部データから構築された知識グラフをタスク空間として機能し,サブグラフサンプリング,タスクテンプレート,メタパスを用いて意味関係を構造化マルチモーダルタスクに変換する。 ノード到達性、LCMスコアリング、類似度分析に基づく多段階フィルタリングパイプラインを適用し、生成されたタスクの品質と実行性を保証する。 さらに、Graph2Evalは複数のエージェントタイプ(Single-Agent、Multi-Agent、Web Agent)のエンドツーエンド評価をサポートし、推論、コラボレーション、インタラクションの能力を測定する。 Graph2Eval-Benchはドキュメントの理解とWebインタラクションのシナリオにまたがる1,319のタスクのキュレートされたデータセットです。 実験によると、Graph2Evalは、エージェントとモデルのパフォーマンスを区別するタスクを効率的に生成し、異なる設定間での推論、コラボレーション、Webインタラクションのギャップを明らかにし、エージェント評価のための新しい視点を提供する。

関連論文リスト

• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
  本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。 生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。 その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T15:47:47Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration [43.96008600046952]
  GraphTeamは3つのモジュールから5つのLLMベースのエージェントで構成されており、異なる特殊性を持つエージェントは複雑な問題に対処するために協力することができる。 6つのグラフ分析ベンチマークの実験は、GraphTeamが最先端のパフォーマンスを達成し、精度の点で最高のベースラインよりも平均25.85%改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-23T17:02:59Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。