論文の概要: Plancraft: an evaluation dataset for planning with LLM agents

• arxiv url: http://arxiv.org/abs/2412.21033v1
• Date: Mon, 30 Dec 2024 15:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:25.485599
• Title: Plancraft: an evaluation dataset for planning with LLM agents
• Title（参考訳）: Plancraft: LLMエージェントによるプランニングのための評価データセット
• Authors: Gautier Dagan, Frank Keller, Alex Lascarides,
• Abstract要約: LLMエージェントのためのマルチモーダル評価データセットであるPlancraftを提案する。 Plancraftにはテキストのみのインターフェースとマルチモーダルのインターフェースがあり、MinecraftのクラフトGUIをベースとしている。 オープンソースとクローズドソースの両方のLCMとタスク戦略をベンチマークし、そのパフォーマンスを手作りプランナーと比較する。
• 参考スコア（独自算出の注目度）: 13.729144770991876
• License:
• Abstract: We present Plancraft, a multi-modal evaluation dataset for LLM agents. Plancraft has both a text-only and multi-modal interface, based on the Minecraft crafting GUI. We include the Minecraft Wiki to evaluate tool use and Retrieval Augmented Generation (RAG), as well as an oracle planner and oracle RAG information extractor, to ablate the different components of a modern agent architecture. To evaluate decision-making, Plancraft also includes a subset of examples that are intentionally unsolvable, providing a realistic challenge that requires the agent not only to complete tasks but also to decide whether they are solvable at all. We benchmark both open-source and closed-source LLMs and strategies on our task and compare their performance to a handcrafted planner. We find that LLMs and VLMs struggle with the planning problems that Plancraft introduces, and we offer suggestions on how to improve their capabilities.
• Abstract（参考訳）: LLMエージェントのためのマルチモーダル評価データセットであるPlancraftを提案する。 Plancraftにはテキストのみのインターフェースとマルチモーダルのインターフェースがあり、MinecraftのクラフトGUIをベースとしている。 ツール使用の評価にはMinecraft Wiki、現代的なエージェントアーキテクチャの異なるコンポーネントを集約するために、Retrieval Augmented Generation (RAG) と、オラクルプランナーとオラクルRAG情報抽出器が組み込まれています。 意思決定を評価するために、Plancraftは意図的な解決不可能な事例のサブセットも含み、エージェントがタスクを完了させるだけでなく、それらが解決可能かどうかを判断する必要がある現実的な挑戦を提供する。 オープンソースとクローズドソースの両方のLCMとタスク戦略をベンチマークし、そのパフォーマンスを手作りプランナーと比較する。 LLM と VLM は Plancraft が導入する計画上の問題に対処し,その能力向上の方法について提案する。

関連論文リスト

• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Nl2Hltl2Plan: Scaling Up Natural Language Understanding for Multi-Robots Through Hierarchical Temporal Logic Task Representation [8.180994118420053]
  Nl2Hltl2Planは自然言語コマンドを階層線形時間論理(LTL)に変換するフレームワーク まず、LLMは命令を階層的なタスクツリーに変換し、論理的および時間的関係をキャプチャする。 次に、微調整されたLLMは、サブタスクをフラットな公式に変換し、階層的な仕様に集約する。
  論文  参考訳（メタデータ） (2024-08-15T14:46:13Z)
• m&m's: A Benchmark to Evaluate Tool-Use for multi-step multi-modal Tasks [31.031053149807857]
  我々は、33のツールを含む4K以上のマルチステップマルチモーダルタスクを含むベンチマークであるm&m'sを紹介する。 これら各タスククエリに対して、この現実的なツールセットを使用して自動生成されたプランを提供する。 1,565のタスクプランの高品質なサブセットを提供する。
  論文  参考訳（メタデータ） (2024-03-17T04:36:18Z)
• AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL [52.005042190810116]
  PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。 優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
  論文  参考訳（メタデータ） (2023-11-16T11:55:27Z)
• Improving Planning with Large Language Models: A Modular Agentic Architecture [7.63815864256878]
  大規模言語モデル(LLM)は、多段階の推論や目標指向の計画を必要とするタスクに悩まされることが多い。 本稿では,特殊モジュールの反復的相互作用によって計画が達成されるエージェントアーキテクチャ,MAPを提案する。 MAPは両方の標準LLM法よりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-30T00:10:14Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)
• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)
• LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models [27.318186938382233]
  本研究では,大規模言語モデル(LLM)を具体化エージェントのプランナーとして用いることに焦点を当てた。 そこで本研究では,大規模言語モデルのパワーを活かして少数ショットプランニングを行う新しい手法 LLM-Planner を提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。