論文の概要: REALM-Bench: A Real-World Planning Benchmark for LLMs and Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2502.18836v1
• Date: Wed, 26 Feb 2025 05:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:42.802387
• Title: REALM-Bench: A Real-World Planning Benchmark for LLMs and Multi-Agent Systems
• Title（参考訳）: REALM-Bench: LLMとマルチエージェントシステムのための実世界の計画ベンチマーク
• Authors: Longling Geng, Edward Y. Chang,
• Abstract要約: このスイートは、基本的なものから非常に複雑なものへと進化する11の設計された問題を含んでいる。 それぞれの問題は、並列計画スレッドの数、依存性間の複雑さ、予期せぬディスラプションの頻度の3つの次元に沿ってスケールすることができる。 このベンチマークは、現実世界のアプリケーションのためのより堅牢で適応可能なAI計画システムの開発を進めることを目的としている。
• 参考スコア（独自算出の注目度）: 2.1331883629523634
• License:
• Abstract: This benchmark suite provides a comprehensive evaluation framework for assessing both individual LLMs and multi-agent systems in real-world planning scenarios. The suite encompasses eleven designed problems that progress from basic to highly complex, incorporating key aspects such as multi-agent coordination, inter-agent dependencies, and dynamic environmental disruptions. Each problem can be scaled along three dimensions: the number of parallel planning threads, the complexity of inter-dependencies, and the frequency of unexpected disruptions requiring real-time adaptation. The benchmark includes detailed specifications, evaluation metrics, and baseline implementations using contemporary frameworks like LangGraph, enabling rigorous testing of both single-agent and multi-agent planning capabilities. Through standardized evaluation criteria and scalable complexity, this benchmark aims to drive progress in developing more robust and adaptable AI planning systems for real-world applications.
• Abstract（参考訳）: このベンチマークスイートは、現実の計画シナリオにおいて、個々のLCMとマルチエージェントシステムの両方を評価するための包括的な評価フレームワークを提供する。 このスイートは、基本から高度に複雑に進化する11の設計問題を含み、マルチエージェント調整、エージェント間の依存関係、動的環境破壊といった重要な側面を取り入れている。 各問題は、並列計画スレッドの数、依存性間の複雑さ、そしてリアルタイム適応を必要とする予期せぬディスラプションの頻度の3つの次元に沿ってスケールすることができる。 ベンチマークには、LangGraphのような現代的なフレームワークを使用した詳細な仕様、評価メトリクス、ベースライン実装が含まれており、単一エージェントとマルチエージェントの計画機能の厳格なテストを可能にする。 このベンチマークは、標準化された評価基準とスケーラブルな複雑さを通じて、現実世界のアプリケーションのためのより堅牢で適応可能なAI計画システムの開発の進歩を促進することを目的としている。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Platform-Aware Mission Planning [50.56223680851687]
  本稿では,PAMP(Platform-Aware Mission Planning)の問題を紹介する。 第1のベースラインアプローチはミッションレベルとプラットフォームレベル、第2のベースラインアプローチは抽象リファインメントループに基づいている。 提案手法の健全性と完全性を実証し,実験により検証する。
  論文  参考訳（メタデータ） (2025-01-16T16:20:37Z)
• SLA Management in Reconfigurable Multi-Agent RAG: A Systems Approach to Question Answering [0.0]
  現実世界のアプリケーションには、SLA(Service Level Agreements)とQoS(Quality of Service)の要件が多様である。 実世界の質問応答(QA)アプリケーションに適したマルチエージェントRAGに対するシステム指向アプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-07T01:32:13Z)
• ET-Plan-Bench: Embodied Task-level Planning Benchmark Towards Spatial-Temporal Cognition with Foundation Models [38.89166693142495]
  ET-Plan-Benchは、Large Language Models (LLMs) を用いたタスク計画の具体化のためのベンチマークである。 様々な難易度や複雑さのレベルにおいて、制御可能で多様な実施タスクが特徴である。 我々のベンチマークでは、大規模で定量化され、高度に自動化され、きめ細かな診断フレームワークとして認識されている。
  論文  参考訳（メタデータ） (2024-10-02T19:56:38Z)
• Multi-Agent Planning Using Visual Language Models [2.2369578015657954]
  大規模言語モデル(LLM)とビジュアル言語モデル(VLM)は、様々なドメインやタスクにわたるパフォーマンスとアプリケーションの改善により、関心を集めている。 LLMとVLMは、特に問題領域の深い理解が必要な場合、誤った結果をもたらす。 本稿では,特定のデータ構造を入力として必要とせずに動作可能なマルチエージェント型タスクプランニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-08-10T08:10:17Z)
• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
  大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。 既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。 複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:50:45Z)
• LLM4Rerank: LLM-based Auto-Reranking Framework for Recommendations [51.76373105981212]
  リグレードはレコメンデーションシステムにおいて重要な要素であり、レコメンデーションアルゴリズムの出力を精査する上で重要な役割を果たす。 そこで我々は,様々な格付け基準をシームレスに統合する包括的格付けフレームワークを提案する。 カスタマイズ可能な入力機構も統合されており、言語モデルのフォーカスを特定の再配置のニーズに合わせることができる。
  論文  参考訳（メタデータ） (2024-06-18T09:29:18Z)
• TDAG: A Multi-Agent Framework based on Dynamic Task Decomposition and Agent Generation [41.21899915378596]
  動的タスク分解・エージェント生成(TDAG)に基づくマルチエージェントフレームワークを提案する。 このフレームワークは複雑なタスクを小さなサブタスクに動的に分解し、それぞれが特定の生成されたサブエージェントに割り当てる。 ItineraryBenchは、さまざまな複雑さのタスク間でのメモリ、計画、ツール使用量のエージェントの能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-02-15T18:27:37Z)
• Improving Planning with Large Language Models: A Modular Agentic Architecture [7.63815864256878]
  大規模言語モデル(LLM)は、多段階の推論や目標指向の計画を必要とするタスクに悩まされることが多い。 本稿では,特殊モジュールの反復的相互作用によって計画が達成されるエージェントアーキテクチャ,MAPを提案する。 MAPは両方の標準LLM法よりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-30T00:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。