論文の概要: Revealing the Barriers of Language Agents in Planning

• arxiv url: http://arxiv.org/abs/2410.12409v1
• Date: Wed, 16 Oct 2024 09:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:20.608391
• Title: Revealing the Barriers of Language Agents in Planning
• Title（参考訳）: 計画における言語エージェントの障壁の解明
• Authors: Jian Xie, Kexun Zhang, Jiangjie Chen, Siyu Yuan, Kai Zhang, Yikai Zhang, Lei Li, Yanghua Xiao,
• Abstract要約: 現在の言語エージェントにはまだ人間レベルの計画能力がないことが示されています。 最先端の推論モデルであるOpenAI o1でさえ、複雑な現実世界の計画ベンチマークの1つで15.6%しか達成していない。 エージェント・プランニングを妨げる2つの重要な要因として,制約の役割の制限と質問の影響の減少があげられる。
• 参考スコア（独自算出の注目度）: 44.913745512049246
• License:
• Abstract: Autonomous planning has been an ongoing pursuit since the inception of artificial intelligence. Based on curated problem solvers, early planning agents could deliver precise solutions for specific tasks but lacked generalization. The emergence of large language models (LLMs) and their powerful reasoning capabilities has reignited interest in autonomous planning by automatically generating reasonable solutions for given tasks. However, prior research and our experiments show that current language agents still lack human-level planning abilities. Even the state-of-the-art reasoning model, OpenAI o1, achieves only 15.6% on one of the complex real-world planning benchmarks. This highlights a critical question: What hinders language agents from achieving human-level planning? Although existing studies have highlighted weak performance in agent planning, the deeper underlying issues and the mechanisms and limitations of the strategies proposed to address them remain insufficiently understood. In this work, we apply the feature attribution study and identify two key factors that hinder agent planning: the limited role of constraints and the diminishing influence of questions. We also find that although current strategies help mitigate these challenges, they do not fully resolve them, indicating that agents still have a long way to go before reaching human-level intelligence.
• Abstract（参考訳）: 自律的な計画は、人工知能の登場以来、続いている。 キュレートされた問題解決者に基づいて、初期の計画エージェントは特定のタスクに対して正確なソリューションを提供することができたが、一般化はできなかった。 大規模言語モデル(LLM)の出現とその強力な推論能力は、与えられたタスクに対して合理的なソリューションを自動的に生成することによって、自律的な計画への関心を再燃させた。 しかし、先行研究と実験により、現在の言語エージェントは、まだ人間レベルの計画能力が欠如していることが示されている。 最先端の推論モデルであるOpenAI o1でさえ、複雑な現実世界の計画ベンチマークの1つで15.6%しか達成していない。 言語エージェントが人間レベルの計画を達成するのを妨げるものは何か? エージェント・プランニングにおける性能は低いが、それに対応するための戦略のメカニズムと限界は未だ十分に理解されていない。 本研究では, エージェント計画の妨げとなる2つの要因, 制約の役割の限定と質問の影響の減少について, 特徴帰属研究を適用した。 また、現在の戦略はこれらの課題を緩和するのに役立つが、完全な解決には至らず、エージェントが人間レベルの知性に到達するまでにはまだ長い道のりが残っていることを示唆している。

関連論文リスト

• LASP: Surveying the State-of-the-Art in Large Language Model-Assisted AI Planning [7.36760703426119]
  この調査は、言語モデルで計画する際の既存の課題を強調することを目的としている。 実施環境、最適なスケジューリング、競争と協力のゲーム、タスクの分解、推論、計画といった重要な分野に焦点を当てている。
  論文  参考訳（メタデータ） (2024-09-03T11:39:52Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。 この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。 我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
  論文  参考訳（メタデータ） (2024-03-05T16:39:12Z)
• TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
  我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。 豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。 包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
  論文  参考訳（メタデータ） (2024-02-02T18:39:51Z)
• Efficient Multi-agent Epistemic Planning: Teaching Planners About Nested Belief [27.524600740450126]
  我々は, 一つのエージェントの観点から, ネストされた信念, 非同質なエージェント, 共同表現観察, あるいはあるエージェントが別のエージェントであるかのように推論する能力を含む, 目標と行動の可能性を秘めている。 提案手法は,複数エージェントのネストされた信念を含む計画課題に,十分に確立された自動計画分野を適用するための重要なステップである。
  論文  参考訳（メタデータ） (2021-10-06T03:24:01Z)
• Comprehensive Multi-Agent Epistemic Planning [0.0]
  この写本は、MEP(Multi-Adnt Epistemic Planning)として知られる特殊な計画に重点を置いている。 EPは、エージェントが知識/信任状態の空間で理由付けを行い、開始状態から望ましい状態に到達する計画を見つけようとする自動計画環境を指す。 その一般的な形であるMEP問題(英語版)は、世界の状態とエージェント間の情報の流れの両方を推論する必要がある複数のエージェントを含んでいる。
  論文  参考訳（メタデータ） (2021-09-17T01:50:18Z)
• Collaborative Human-Agent Planning for Resilience [5.2123460114614435]
  実行時に線形時間論理(LTL)を用いてエージェントに知識を提供することで,エージェントと協調できるかどうかを検討する。 我々は,計画立案者が制限のある状況に対する基本計画案を24名提示し,これらの制限に対する回避策を参加者に求めた。 その結果, 参加者の制約により, 計画の期待リターンが10%向上した。
  論文  参考訳（メタデータ） (2021-04-29T03:21:31Z)
• Modelling Multi-Agent Epistemic Planning in ASP [66.76082318001976]
  本稿では,マルチショット・アンサー・セット・プログラミング・ベース・プランナの実装について述べる。 本稿は, アドホックなエピステミック状態表現とASPソルバの効率を生かしたプランナーが, 文献から収集したベンチマークに対して, 競合的な性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-08-07T06:35:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。