Fugu-MT 論文翻訳(概要): Iterative Trajectory Exploration for Multimodal Agents

論文の概要: Iterative Trajectory Exploration for Multimodal Agents

arxiv url: http://arxiv.org/abs/2504.21561v1
Date: Wed, 30 Apr 2025 12:01:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-07 18:50:11.006322
Title: Iterative Trajectory Exploration for Multimodal Agents
Title（参考訳）: マルチモーダルエージェントの反復軌道探索
Authors: Pengxiang Li, Zhi Gao, Bofei Zhang, Yapeng Mi, Xiaojian Ma, Chenrui Shi, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li,
Abstract要約: 本研究では,マルチモーダルエージェント,すなわちSPORTのオンライン自己探索手法を提案する。 Sportは、タスク合成、ステップサンプリング、ステップ検証、優先度調整の4つの反復的なコンポーネントを通じて動作する。 GTAとGAIAのベンチマークでは、Sport Agentは6.41%と3.64%の改善を達成している。
参考スコア（独自算出の注目度）: 69.32855772335624
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal agents, which integrate a controller (e.g., a large language model) with external tools, have demonstrated remarkable capabilities in tackling complex tasks. However, existing agents need to collect a large number of expert data for fine-tuning to adapt to new environments. In this paper, we propose an online self-exploration method for multimodal agents, namely SPORT, via step-wise preference optimization to refine the trajectories of agents, which automatically generates tasks and learns from solving the generated tasks, without any expert annotation. SPORT operates through four iterative components: task synthesis, step sampling, step verification, and preference tuning. First, we synthesize multi-modal tasks using language models. Then, we introduce a novel search scheme, where step sampling and step verification are executed alternately to solve each generated task. We employ a verifier to provide AI feedback to construct step-wise preference data. The data is subsequently used to update the controller's policy through preference tuning, producing a SPORT Agent. By interacting with real environments, the SPORT Agent evolves into a more refined and capable system. Evaluation in the GTA and GAIA benchmarks show that the SPORT Agent achieves 6.41\% and 3.64\% improvements, underscoring the generalization and effectiveness introduced by our method. The project page is https://SPORT-Agents.github.io.
Abstract（参考訳）: コントローラ(例えば、大きな言語モデル)と外部ツールを統合するマルチモーダルエージェントは、複雑なタスクに対処する際、顕著な能力を示した。しかし、既存のエージェントは新しい環境に適応するために、微調整のために多数の専門家データを集める必要がある。本稿では,タスクを自動的に生成し,生成したタスクから学習するエージェントの軌道を,専門家のアノテーションを使わずに改良するために,ステップワイドな選好最適化によるマルチモーダルエージェントのオンライン自己探索手法,すなわちSportを提案する。 Sportは、タスク合成、ステップサンプリング、ステップ検証、優先度調整の4つの反復的なコンポーネントを通じて動作する。まず,言語モデルを用いてマルチモーダルタスクを合成する。そこで我々は,ステップサンプリングとステップ検証を交互に行い,各タスクを解く新しい探索手法を提案する。ステップワイズ選好データを構築するためにAIフィードバックを提供する検証器を用いる。データはその後、好みのチューニングを通じてコントローラのポリシーを更新するために使用され、Sport Agentを生成する。実際の環境と対話することで、Sport Agentはより洗練され能力のあるシステムへと進化する。 GTA と GAIA のベンチマークでは,Sport Agent が 6.41 % と 3.64 % の改善を達成し,本手法の一般化と有効性を実証した。プロジェクトページはhttps://Sport-Agents.github.io.com。

関連論文リスト

STEVE: A Step Verification Pipeline for Computer-use Agent Training [84.24814828303163]
STEVEは、コンピュータ使用エージェントトレーニングのためのステップ検証パイプラインである。 GPT-4oは、動作実行前後の画面に基づいて、軌跡の各ステップの正当性を検証するために使用される。我々のエージェントは、軌道内での正と負の両方の作用を利用して微調整を監督する。
論文参考訳（メタデータ） (2025-03-16T14:53:43Z)
Multi-Agent Geospatial Copilots for Remote Sensing Workflows [1.8241060496411214]
GeoLLM-Squadがリモートセンシング(RS)に新しいマルチエージェントパラダイムを導入モノリシックな大規模言語モデル(LLM)に依存している既存の単一エージェントアプローチとは異なり、GeoLLM-Squadは地理的タスク解決からエージェントオーケストレーションを分離する。我々の研究は、都市モニタリング、森林保護、気候分析、農業研究にまたがる多様なアプリケーションのモジュラー統合を可能にする。
論文参考訳（メタデータ） (2025-01-27T17:54:31Z)
Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
論文参考訳（メタデータ） (2025-01-23T07:49:24Z)
Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
論文参考訳（メタデータ） (2024-12-22T15:16:44Z)
TrajAgent: An Agent Framework for Unified Trajectory Modelling [7.007450097312181]
軌道モデリングは、生活サービス、都市交通、行政などの分野で広く応用されている。本稿では,大規模言語モデルに基づくエージェントフレームワークであるTrajAgentを提案する。
論文参考訳（メタデータ） (2024-10-27T13:51:09Z)
ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems [80.69865295743149]
この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
論文参考訳（メタデータ） (2024-09-02T17:44:10Z)
Octo-planner: On-device Language Model for Planner-Action Agents [19.627197141903505]
Planner-Actionフレームワークは、計画とアクションの実行を2つの異なるコンポーネントに分離する。 Agentはまず、タスクをサブステップのシーケンスに分解してユーザクエリに応答し、アクションエージェントによって実行される。我々は、文脈内学習の代わりにモデル微調整を採用し、計算コストとエネルギー消費を削減した。
論文参考訳（メタデータ） (2024-06-26T05:40:10Z)
MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文参考訳（メタデータ） (2023-10-05T04:06:12Z)
AutoAgents: A Framework for Automatic Agent Generation [27.74332323317923]
AutoAgentsは、さまざまなタスクに応じてAIチームを構築するために、複数の専門エージェントを適応的に生成し、コーディネートする革新的なフレームワークである。各種ベンチマーク実験により,AutoAgentsは既存のマルチエージェント手法よりも一貫性と正確な解を生成することが示された。
論文参考訳（メタデータ） (2023-09-29T14:46:30Z)
Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文参考訳（メタデータ） (2021-10-25T20:02:57Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。