論文の概要: From Solver Feedback to Faithful Plans: Multi-Role Reinforcement Learning for Symbolic Planning

• arxiv url: http://arxiv.org/abs/2608.21897v1
• Date: Sat, 22 Aug 2026 10:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.531768
• Title: From Solver Feedback to Faithful Plans: Multi-Role Reinforcement Learning for Symbolic Planning
• Title（参考訳）: ソルバーフィードバックから忠実プランへ:シンボリックプランニングのためのマルチロール強化学習
• Abstract要約: 我々は,解答者フィードバックのみを用いて,忠実な自然言語からPDDLの形式化を学習する方法を研究する。 単一の言語モデルは、生成、検証、修復のためのアクター、ジャッジ、エディターとして機能する。
• 参考スコア（独自算出の注目度）: 45.06202428222333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable planning requires converting natural-language instructions into executable symbolic specifications, yet large language models remain brittle without costly PDDL annotations and may exploit solver success in semantically unfaithful ways. We study how to learn faithful natural-language-to-PDDL formalization using only solver feedback, without human-written demonstrations. We propose a solvergrounded multi-role reinforcement learning framework where a single language model acts as an Actor, Judge, and Editor for generation, verification, and repair. The Actor proposes PDDL specifications, the Judge provides a solver-calibrated quality signal, and the Editor performs bounded diagnostic-conditioned refinement. On PlanBench, our method improves average success from 35.5% for LLM+P to 70.8%, achieves 66.3% faithful success, and reduces semantic drift to 6.4%. These results show that organizing solver feedback into generation, verification, and repair roles enables more scalable and faithful annotation-free symbolic planning
• Abstract（参考訳）: 信頼性の高い計画には、自然言語命令を実行可能なシンボリック仕様に変換する必要があるが、大きな言語モデルは高価なPDDLアノテーションなしでは不安定であり、意味的に不信な方法で解決者の成功を利用する可能性がある。 本研究では,人間の手書きによる実演を使わずに,解答者フィードバックのみを用いて,忠実な自然言語からPDDLの形式化を学習する方法について検討する。 本稿では,一つの言語モデルがアクタ,ジャッジ,エディタとして機能し,生成,検証,修復を行う,多言語強化学習フレームワークを提案する。 アクターはPDDL仕様を提案し、ジャッジはソルバ校正された品質信号を提供し、エディタは境界付き診断条件の洗練を行う。 PlanBenchでは、LLM+Pの35.5%から70.8%に改善し、66.3%の忠実な成功を実現し、セマンティックドリフトを6.4%に削減した。 これらの結果は,解決者フィードバックを生成,検証,修復にまとめることで,よりスケーラブルで忠実なアノテーションのないシンボルプランニングが可能になることを示唆している。

関連論文リスト

• SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
  言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。 SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。 Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
  論文  参考訳（メタデータ） (2026-06-11T05:06:50Z)
• ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization [6.572539312871392]
  大規模言語モデル(LLM)は、自然言語を最適化コードに変換することができるが、サイレント障害は重大なリスクをもたらす。 2つの相補的な方向からサイレント障害に対処するReLoopを紹介します。
  論文  参考訳（メタデータ） (2026-02-17T20:20:33Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• ReForm: Reflective Autoformalization with Prospective Bounded Sequence Optimization [73.0780809974414]
  本稿では,意味的整合性評価を自己形式化プロセスに統合する反射的自己形式化手法を提案する。 これにより、モデルが形式的なステートメントを反復的に生成し、セマンティックな忠実さを評価し、自己修正された特定エラーを発生させることができる。 実験の結果、ReFormは最強のベースラインに対して平均22.6ポイントの改善を達成した。
  論文  参考訳（メタデータ） (2025-10-28T16:22:54Z)
• Verifiable Accuracy and Abstention Rewards in Curriculum RL to Alleviate Lost-in-Conversation [6.444818462799464]
  大規模言語モデルはシングルターン命令に強い能力を示すが、LiC(Lost-in-Conversation)に苦しむ Reinforcement Learning with Verifiable Rewards (RLVR) の現在の進歩に触発されて, 検証精度と回避Rewards (RLAAR) を用いたカリキュラム強化学習を提案する。 本手法では,信頼性を向上しつつ,対話の難易度を漸進的に向上させ,トレーニングの安定化を図る。
  論文  参考訳（メタデータ） (2025-10-21T15:32:26Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• Unifying Inference-Time Planning Language Generation [27.998081619086477]
  計画の行は、計画を生成するのではなく、計画言語で形式的な表現を生成するためにLLMを使用する。 中間表現に基づく統一フレームワークを提案する。 我々は、言語生成パイプラインを計画するためのレシピを提供し、それらの様々なコンポーネントの有効性を示す一連の結論を導き出す。
  論文  参考訳（メタデータ） (2025-05-20T17:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。