Fugu-MT 論文翻訳(概要): Grounded Evaluation and Repair for NL-to-PDDL Problem Generation

論文の概要: Grounded Evaluation and Repair for NL-to-PDDL Problem Generation

arxiv url: http://arxiv.org/abs/2609.09898v1
Date: Wed, 09 Sep 2026 08:53:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.958155
Title: Grounded Evaluation and Repair for NL-to-PDDL Problem Generation
Title（参考訳）: NL-PDDL問題生成のための基礎評価と修復
Abstract要約: 本稿では, LLM 生成, PDDL 解析, 計画と検証, ドメイン・コンフォーマンス・チェッカー, 反復修復を併用したエンドツーエンド NL-to-PDDL パイプラインについて検討する。プラネタリウム、オートプランベンチ、PDDL2.1の問題が修正された結果、運用の成功とベンチマーク参照の再構築が著しく異なることが示されている。
参考スコア（独自算出の注目度）: 3.323276338973552
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have shown promise for translating Natural Language (NL) planning descriptions into PDDL problem instances. However, standard evaluation criteria such as syntactic validity or planner success can substantially overestimate faithfulness to the described task: a generated problem may be parseable and solvable while misrepresenting the intended initial state, goal, object structure, or optimization target. This paper studies an end-to-end NL-to-PDDL pipeline that combines LLM generation, checks in terms of PDDL parsing, planning and validation, a domain-conformance checker, an LLM critic, and iterative repair. Fine-grained repair feedback is constructed from the domain description, the generated problem, the natural language problem description, and operational diagnostics. Reference-based comparisons against curated benchmark PDDL problem descriptions are used for post-hoc benchmark analysis, and these offline checks include renaming-invariant structural matching and semantic equivalence, where domain support is available. Across Planetarium, AutoPlanBench, and curated PDDL~2.1 problems, results show that operational success and benchmark-reference reconstruction can diverge substantially. Results also show that structured repair can be useful, and that PDDL~2.1 remains challenging for reference reconstruction, even when operational success improves.
Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語(NL)計画記述をPDDL問題インスタンスに変換することを約束している。しかし、構文的妥当性やプランナーの成功などの標準的な評価基準は、記述されたタスクに実質的に忠実さを過大評価することができる: 生成された問題は、意図された初期状態、ゴール、オブジェクト構造、最適化目標を誤って表現しながら、解析可能で解決可能である。本稿では, LLM 生成, PDDL 解析, 計画, 検証, ドメイン・コンフォーマンス・チェッカー, LLM 批判, 反復的修復の両面から, エンドツーエンドの NL-to-PDDL パイプラインについて検討する。ドメイン記述、生成した問題、自然言語問題記述、および運用診断から、きめ細かい補修フィードバックを構築する。計算済みベンチマークのPDDL問題記述に対する参照ベースの比較は、ポストホックベンチマーク分析に使用され、これらのオフラインチェックには、ドメインサポートが利用可能であるリネーム不変構造マッチングとセマンティック等価性が含まれる。プラネタリウム、オートプランベンチ、PDDL~2.1の計算結果から、運用の成功とベンチマーク参照の再構築が大幅に分散する可能性が示されている。また, 構造修復は有用であり, PDDL~2.1は, 手術成功度が向上しても, 参照再建に依然として困難であることを示す。

関連論文リスト

CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
論文参考訳（メタデータ） (2026-08-31T01:59:51Z)
RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文参考訳（メタデータ） (2026-07-28T17:12:41Z)
Toward Secure and Reliable PDDL Formalization of Large Language Models with Planner-in-the-Loop Feedback [11.629045437889943]
計画はしばしば実行可能かつ検証可能な象徴的な仕様を必要とする。提案するNL-PDDL-Benchは,自然言語とPDDLの仕様作成のためのベンチマークである。また、バリデータとプランナ診断を用いて、実行不可能な仕様を改訂する、ループ内プランナフレームワークを提案する。
論文参考訳（メタデータ） (2026-06-29T02:08:30Z)
Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
論文参考訳（メタデータ） (2026-05-18T10:05:21Z)
Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation [0.0]
大規模言語モデル(LLM)は、自然言語の理解とタスクの一般化において顕著な能力を示した。本稿では、構造化されたプロンプトおよびフィードバック駆動型変換ロジック生成手法であるSTROT Frameworkを紹介する。
論文参考訳（メタデータ） (2025-05-03T00:05:01Z)
Generating Symbolic World Models via Test-time Scaling of Large Language Models [28.258707611580643]
計画ドメイン定義言語(PDDL)は、正確な状態記述と正式な状態記述を可能にする計画抽象化として利用されます。このアルゴリズムはまず,初期解の品質向上のためにBest-of-Nサンプリング手法を用いる。本手法はPDDLドメインの生成において, O1-miniよりもかなり優れている。
論文参考訳（メタデータ） (2025-02-07T07:52:25Z)
Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文参考訳（メタデータ） (2025-01-28T15:41:54Z)
Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2025-01-10T05:51:52Z)
In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-04T03:39:28Z)
Planetarium: A Rigorous Benchmark for Translating Text to Structured Planning Languages [20.62336315814875]
計画タスクの自然言語記述からPDDLコードを生成する言語モデルの性能を評価するためのベンチマークである textitPlanetarium を紹介する。 textitPlanetariumは、生成したPDDLの正しさを柔軟に評価する新しいPDDL同値アルゴリズムと、145,918のテキスト-PDDLペアのデータセットを備える。
論文参考訳（メタデータ） (2024-07-03T17:59:53Z)
Generating consistent PDDL domains with Large Language Models [4.8551773468225745]
LLM(Large Language Models)は、自然言語のドメイン記述をPDDLマークアップに変換する能力を持つ。生成プロセス中に自動整合性チェックを行うことにより,LCM生成のPDDLモデルの品質を大幅に向上させる新しい概念を提案する。提案した整合性チェック戦略は、生成したモデルの絶対的正当性を保証することはできないが、ループ内の人間から期待される補正努力の量を減らす貴重なフィードバック源として機能することができる。
論文参考訳（メタデータ） (2024-04-11T13:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。