論文の概要: Plancraft: an evaluation dataset for planning with LLM agents

• arxiv url: http://arxiv.org/abs/2412.21033v2
• Date: Tue, 15 Jul 2025 09:27:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.879261
• Title: Plancraft: an evaluation dataset for planning with LLM agents
• Title（参考訳）: Plancraft: LLMエージェントによるプランニングのための評価データセット
• Authors: Gautier Dagan, Frank Keller, Alex Lascarides,
• Abstract要約: LLMエージェントのためのマルチモーダル評価データセットであるPlancraftを提案する。 ツール使用の評価にはMinecraft WikiとRetrieval Augmented Generation (RAG)が含まれる。 意思決定を評価するために、Plancraftには、意図的に解決不可能なサンプルのサブセットも含まれている。
• 参考スコア（独自算出の注目度）: 13.729144770991876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Plancraft, a multi-modal evaluation dataset for LLM agents. Plancraft has both a text-only and multi-modal interface, based on the Minecraft crafting GUI. We include the Minecraft Wiki to evaluate tool use and Retrieval Augmented Generation (RAG), as well as a handcrafted planner and Oracle Retriever, to ablate the different components of a modern agent architecture. To evaluate decision-making, Plancraft also includes a subset of examples that are intentionally unsolvable, providing a realistic challenge that requires the agent not only to complete tasks but also to decide whether they are solvable at all. We benchmark both open-source and closed-source LLMs and compare their performance and efficiency to a handcrafted planner. Overall, we find that LLMs and VLMs struggle with the planning problems that Plancraft introduces, and offer suggestions on how to improve their capabilities.
• Abstract（参考訳）: LLMエージェントのためのマルチモーダル評価データセットであるPlancraftを提案する。 Plancraftにはテキストのみのインターフェースとマルチモーダルのインターフェースがあり、MinecraftのクラフトGUIをベースとしている。 ツール使用の評価にはMinecraft Wikiや,現代的なエージェントアーキテクチャのさまざまなコンポーネントを廃止するために,手作りのプランナであるRetrieval Augmented Generation(RAG)や,Oracle Retrieverも使用しています。 意思決定を評価するために、Plancraftは意図的な解決不可能な事例のサブセットも含み、エージェントがタスクを完了させるだけでなく、それらが解決可能かどうかを判断する必要がある現実的な挑戦を提供する。 オープンソースとクローズドソースの両方のLCMをベンチマークし、その性能と効率を手作りプランナーと比較する。 全体として、LLMとVLMは、Plancraftが導入する計画上の問題に対処し、その能力を改善する方法について提案する。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Query-Efficient Planning with Language Models [8.136901056728945]
  複雑な環境での計画では、エージェントがスタートからゴールまでの一連のアクションを見つけるために、ワールドモデルを効率的にクエリする必要がある。 最近の研究によると、Large Language Models(LLM)は、将来有望な状態を探索し、世界からのフィードバックに適応することによって、計画に役立つ可能性がある。 両アプローチが同等のベースラインで改善されているのに対して,LLMを生成プランナーとして使用すると,相互作用が大幅に減少することを示す。
  論文  参考訳（メタデータ） (2024-12-09T02:51:21Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• m&m's: A Benchmark to Evaluate Tool-Use for multi-step multi-modal Tasks [31.031053149807857]
  我々は、33のツールを含む4K以上のマルチステップマルチモーダルタスクを含むベンチマークであるm&m'sを紹介する。 これら各タスククエリに対して、この現実的なツールセットを使用して自動生成されたプランを提供する。 1,565のタスクプランの高品質なサブセットを提供する。
  論文  参考訳（メタデータ） (2024-03-17T04:36:18Z)
• AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL [52.005042190810116]
  PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。 優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
  論文  参考訳（メタデータ） (2023-11-16T11:55:27Z)
• Improving Planning with Large Language Models: A Modular Agentic Architecture [7.63815864256878]
  大規模言語モデル(LLM)は、多段階の推論や目標指向の計画を必要とするタスクに悩まされることが多い。 本稿では,特殊モジュールの反復的相互作用によって計画が達成されるエージェントアーキテクチャ,MAPを提案する。 MAPは両方の標準LLM法よりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-30T00:10:14Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)
• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)
• LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models [27.318186938382233]
  本研究では,大規模言語モデル(LLM)を具体化エージェントのプランナーとして用いることに焦点を当てた。 そこで本研究では,大規模言語モデルのパワーを活かして少数ショットプランニングを行う新しい手法 LLM-Planner を提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。