論文の概要: Which LLM is Best for Translating Natural Language Goals to PDDL

• arxiv url: http://arxiv.org/abs/2609.18731v1
• Date: Wed, 16 Sep 2026 14:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.838026
• Title: Which LLM is Best for Translating Natural Language Goals to PDDL
• Title（参考訳）: 自然言語目標をPDDLに翻訳するのに最適なLLM
• Abstract要約: 本稿では,現在の大規模言語モデルが,自然言語テスト目標を適切にPDDL目標に翻訳できるかどうかを実証的に評価する。 本稿では,反復実験から得られた知見を,精度と応答コヒーレンスの両方を最大化することを目的とした,慎重に設計されたプロンプトテンプレートを提案する。 すべてのモデルは92%を超える高い正確さを示し、Gemini 2.5 Flashは96%、偽陽性率は最低であり、GPT-4.1は応答速度をリードする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bridging the gap between human intent and machine execution remains a challenge in automated planning, where expressing goals in formal languages like PDDL restricts accessibility to non-experts. This paper empirically evaluates whether current Large Language Models (LLMs) can reliably translate natural language testing goals, written in informal language by video game testers, into well-formed PDDL targets suitable for classical planning. We present a carefully designed prompt template, integrating insights from iterative experimentation, aimed at maximizing both accuracy and response coherence from multiple state-of-the-art LLMs. Six contemporary models are systematically assessed on correctness, speed, and error tendencies using real-world, domain-specific benchmarks. All models demonstrate high correctness, exceeding 92\%, with Gemini 2.5 Flash achieving the highest accuracy at 96\% and the lowest incidence of false positives, while GPT-4.1 leads in response speed. Despite these advances, critical distinctions exist in model performance, and occasional failures arise from language ambiguity and limitations in domain representation. Our analysis underscores both the significant progress and ongoing gaps in enabling LLMs to act as robust bridges between natural language objectives and automated planning pipelines.
• Abstract（参考訳）: PDDLのような形式言語で目標を表現すれば、非専門家へのアクセシビリティが制限される。 本稿では,現状のLarge Language Models (LLMs) が,ゲームテスタが非公式に記述した自然言語テスト目標を,古典的計画に適したPDDLターゲットに確実に翻訳できるかどうかを実証的に評価する。 我々は,複数の最先端LCMから精度と応答コヒーレンスの両方を最大化することを目的とした,反復実験からの洞察を統合する,慎重に設計されたプロンプトテンプレートを提案する。 6つの現代モデルは、実際のドメイン固有のベンチマークを用いて、正確性、速度、エラー傾向を体系的に評価する。 GPT-4.1の反応速度は、Gemini 2.5 Flashが96 %、偽陽性の確率が最低となるのに対して、全てのモデルで高い正しさを示し、92 %を超える。 これらの進歩にもかかわらず、モデルの性能には批判的な違いがあり、時にはドメイン表現における言語あいまいさや制限から失敗が生じる。 我々の分析は、LLMが自然言語の目的と自動計画パイプラインの間の堅牢なブリッジとして機能する上で、大きな進歩と継続的なギャップの両方を浮き彫りにしている。

関連論文リスト

• Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
  大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。 対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。 言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
  論文  参考訳（メタデータ） (2026-01-01T08:53:49Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• Plan Verification for LLM-Based Embodied Task Completion Agents [10.439882851477162]
  大規模言語モデル(LLM)に基づくタスク計画とそれに対応するAIの人間による実演は騒々しいかもしれない。 審査員が行動系列を批判し、プランナーLLMが修正を適用する反復検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-02T19:06:56Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Generating Symbolic World Models via Test-time Scaling of Large Language Models [28.258707611580643]
  計画ドメイン定義言語(PDDL)は、正確な状態記述と正式な状態記述を可能にする計画抽象化として利用されます。 このアルゴリズムはまず,初期解の品質向上のためにBest-of-Nサンプリング手法を用いる。 本手法はPDDLドメインの生成において, O1-miniよりもかなり優れている。
  論文  参考訳（メタデータ） (2025-02-07T07:52:25Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。