Fugu-MT 論文翻訳(概要): AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL

論文の概要: AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL

arxiv url: http://arxiv.org/abs/2311.09830v2
Date: Fri, 9 Feb 2024 09:48:41 GMT
ステータス: 処理完了
システム内更新日: 2024-02-12 20:06:19.298699
Title: AutoPlanBench: Automatically generating benchmarks for LLM planners from PDDL
Title（参考訳）: AutoPlanBench: PDDLからLLMプランナの自動ベンチマークを生成する
Authors: Katharina Stein, Daniel Fi\v{s}er, J\"org Hoffmann and Alexander Koller
Abstract要約: PDDLで書かれたベンチマークをテキスト記述に変換する新しい手法であるAutoPlanBenchを提案する。優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。
参考スコア（独自算出の注目度）: 52.005042190810116
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLMs are being increasingly used for planning-style tasks, but their capabilities for planning and reasoning are poorly understood. We present AutoPlanBench, a novel method for automatically converting planning benchmarks written in PDDL into textual descriptions and offer a benchmark dataset created with our method. We show that while the best LLM planners do well on some planning tasks, others remain out of reach of current methods.
Abstract（参考訳）: LLMは計画スタイルのタスクにますます使われていますが、計画や推論の能力はあまり理解されていません。我々は,PDDLで記述された計画ベンチマークをテキスト記述に変換する新しい手法AutoPlanBenchを提案し,本手法で作成したベンチマークデータセットを提供する。優れたLCMプランナーは計画タスクをうまくこなすが、他のプランナーは現在の手法には及ばない。

関連論文リスト

LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文参考訳（メタデータ） (2025-01-28T03:18:48Z)
Leveraging Environment Interaction for Automated PDDL Translation and Planning with Large Language Models [7.3238629831871735]
大規模言語モデル(LLM)は、様々な自然言語タスクにおいて顕著な性能を示している。潜在的な解決策として、計画ドメイン定義言語(PDDL)へのプランニングの問題が提案されている。 LLMと環境フィードバックを利用してPDDLドメインと問題記述ファイルを自動生成する手法を提案する。
論文参考訳（メタデータ） (2024-07-17T19:50:51Z)
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文参考訳（メタデータ） (2024-06-20T13:08:09Z)
RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents [27.807695570974644]
LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
論文参考訳（メタデータ） (2024-06-17T01:23:11Z)
NL2Plan: Robust LLM-Driven Planning from Minimal Text Descriptions [8.004470925893957]
ドメインに依存しない初めてのオフラインLCM駆動計画システムであるNL2Planを提案する。我々はNL2Planを4つの計画領域で評価し、15のタスクのうち10を解くことを発見した。エンド・ツー・エンドモードでのNL2Planの使用に加えて、ユーザは中間結果の検査と修正が可能である。
論文参考訳（メタデータ） (2024-05-07T11:27:13Z)
Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication [79.79948834910579]
自然言語(NL)は長年、人間の認知とコミュニケーションの主要なフォーマットであった。本研究では,異なる文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
論文参考訳（メタデータ） (2024-02-28T16:07:54Z)
TIC: Translate-Infer-Compile for accurate "text to plan" using LLMs and Logical Representations [0.0]
本研究では,自然言語計画タスク要求の計画作成の問題について検討する。本手法は,LLMを用いて自然言語タスク記述の解釈可能な中間表現を生成する。中間表現のみを出力するためにLLMを用いると、LLMの誤差が大幅に減少する。
論文参考訳（メタデータ） (2024-02-09T18:39:13Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
Leveraging Pre-trained Large Language Models to Construct and Utilize World Models for Model-based Task Planning [39.29964085305846]
事前訓練済みの大規模言語モデルをプランナーとして直接使用する方法は、計画の正確性に限界があるため、現在は実用的ではない。本研究では,ドメイン定義言語(PDDL)の計画において,明示的な世界(ドメイン)モデルを構築し,ドメインに依存しないプランナで計画する新たなパラダイムを提案する。
論文参考訳（メタデータ） (2023-05-24T08:59:15Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。