論文の概要: A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners

• arxiv url: http://arxiv.org/abs/2606.03685v1
• Date: Tue, 02 Jun 2026 14:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.05276
• Title: A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners
• Title（参考訳）: 微調整のLLMプランナーで世界モデル回復を振り返る
• Abstract要約: Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)におけるエンドツーエンドの古典的計画を改善する これらのモデルは、彼らが解決しようとしている計画上の問題を表現し、理由づけることも学べるだろうか?
• 参考スコア（独自算出の注目度）: 5.334857433652785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) improves end-to-end classical planning in large language models (LLMs), but do these models also learn to represent and reason about the planning problems they are solving? Due to the relative complexity of classical planning problems and the challenge that end-to-end plan generation poses for LLMs, it has been difficult to explore this question. In our work, we devise and perform a series of interpretability experiments that holistically interrogate world model recovery by examining both internal representations and generative capabilities of fine-tuned LLMs. We find that: a) Supervised fine-tuning on valid action sequences enables LLMs to linearly encode action validity and some state predicates. b) Models that struggle to use output probabilities for classifying action validity may still learn internal representations that separate valid from invalid actions. c) Broader state space coverage during fine-tuning, such as from random walk data, yields more accurate recovery of the underlying world model. In summary, this work contributes a recipe for applying interpretability techniques to planning LLMs and generates insights that shed light on open questions about how knowledge is represented in LLMs.
• Abstract（参考訳）: Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)におけるエンドツーエンドの古典的計画を改善する。 古典的計画問題の複雑さとLLMにとってエンド・ツー・エンドの計画生成がもたらす課題から,この問題を探求することは困難である。 本研究では,微調整LDMの内部表現と生成能力を両立させることにより,世界モデル回復をホモロジー的に疑問視する一連の解釈可能性実験を考案し,実施する。 以下に示す。 a) 有効なアクションシーケンスの監督された微調整により、LCMは、アクション妥当性及び一部の状態述語を線形にエンコードすることができる。 b) 動作妥当性の分類に出力確率を使用するのに苦労するモデルは、依然として、無効な動作から有効性を分離した内部表現を学習することができる。 c) ランダムウォークデータなどの微調整中の状態空間の広範化は、基礎となる世界モデルのより正確な回復をもたらす。 まとめると、本研究は、LLMの計画に解釈可能性技術を適用し、LLMにおける知識の表現方法に関するオープンな疑問に光を当てた洞察を生み出すためのレシピを提供する。

関連論文リスト

• iCLP: Large Language Model Reasoning with Implicit Cognition Latent Planning [28.763018368302117]
  大規模言語モデル(LLM)は、問題解決において、信頼性の高いステップバイステップ推論を行うことができる。 幻覚が原因で 正確な 効果的なテキストプランを作成することは 困難です LLMが適応的に潜在計画を生成するための新しいフレームワークiCLPを提案する。
  論文  参考訳（メタデータ） (2025-12-30T06:19:04Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Dynamic Planning with a LLM [15.430182858130884]
  大言語モデル(LLM)はゼロショット設定で多くのNLPタスクを解くことができるが、具体化エージェントを含むアプリケーションは依然として問題である。 LLM動的プランナー(LLM-DP)は,LLMが従来のプランナーと手動で作業し,具体的課題を解決する,神経象徴的な枠組みである。
  論文  参考訳（メタデータ） (2023-08-11T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。