論文の概要: Iterative Deployment Improves Planning Skills in LLMs

• arxiv url: http://arxiv.org/abs/2512.24940v1
• Date: Wed, 31 Dec 2025 16:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.696209
• Title: Iterative Deployment Improves Planning Skills in LLMs
• Title（参考訳）: 反復的デプロイメントはLLMの計画スキルを改善する
• Abstract要約: 大規模言語モデル (LLM) の反復的展開は, 結果のモデルの性質を著しく変化させることができることを示す。 このメカニズムを様々な計画領域でテストすることにより、計画スキルの大幅な改善を観察する。 次に, 反復的展開が外ループにおける強化学習(RL)訓練を効果的に実施することを示す理論的解析を行った。
• 参考スコア（独自算出の注目度）: 36.668436209940516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that iterative deployment of large language models (LLMs), each fine-tuned on data carefully curated by users from the previous models' deployment, can significantly change the properties of the resultant models. By testing this mechanism on various planning domains, we observe substantial improvements in planning skills, with later models displaying emergent generalization by discovering much longer plans than the initial models. We then provide theoretical analysis showing that iterative deployment effectively implements reinforcement learning (RL) training in the outer-loop (i.e. not as part of intentional model training), with an implicit reward function. The connection to RL has two important implications: first, for the field of AI safety, as the reward function entailed by repeated deployment is not defined explicitly, and could have unexpected implications to the properties of future model deployments. Second, the mechanism highlighted here can be viewed as an alternative training regime to explicit RL, relying on data curation rather than explicit rewards.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の反復的展開は, ユーザが事前にキュレートしたデータに基づいて微調整し, 結果として得られるモデルの性質を著しく変えることができることを示す。 このメカニズムを様々な計画領域で検証することにより、計画スキルの大幅な改善が観察され、後のモデルでは初期モデルよりもはるかに長い計画を発見することで創発的な一般化が示される。 次に, 反復的展開は, 意図的モデルトレーニングの一部としてではなく, ループ外における強化学習(RL)訓練を効果的に実施し, 暗黙的な報奨機能を備えていることを示す理論的解析を行った。 第一に、AI安全性の分野では、繰り返しデプロイによって引き起こされる報酬関数が明示的に定義されておらず、将来のモデルデプロイメントの特性に予期せぬ影響をもたらす可能性があるためである。 第二に、ここで強調されているメカニズムは、明示的な報酬ではなく、データキュレーションに依存して、明示的なRLに対する代替のトレーニングシステムと見なすことができる。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models [35.088440282359024]
  行動基礎モデル(BFM)は、未知の報酬やタスクに適応する能力を持つエージェントを生成する。 これらの手法は、既存の状態特徴の範囲内にある報酬関数に対して、ほぼ最適にポリシーを作成できるのみである。 本稿では,ゼロショットRLに対して,最先端の複雑な表現学習手法に適合または超越可能なRLDP(Regularized Latent Dynamics Prediction)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T19:39:27Z)
• Generative Actor Critic [74.04971271003869]
  Generative Actor Critic (GAC) は、軌道上での関節分布の生成モデル学習として、テキスト政治評価を反映して、シーケンシャルな意思決定を分離する新しいフレームワークである。 Gym-MuJoCoとMaze2Dベンチマークの実験では、GACの強いオフライン性能と、最先端の手法と比較してオフラインからオフラインへの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-12-25T06:31:11Z)
• Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models [45.523937630646394]
  本研究では,モデルベース強化学習における新たなパラダイムであるSFP予測・アズ・プランニング(SFP)を提案する。 SFPは、多様な高時間将来の状態をシミュレートし、「想像に基づく」環境シミュレーションを可能にする新しい世界モデルを構築している。
  論文  参考訳（メタデータ） (2025-10-05T03:57:38Z)
• SHAP-Guided Regularization in Machine Learning Models [1.0515439489916734]
  本稿では,特徴量制約をモデルトレーニングに組み込んだSHAP誘導正規化フレームワークを提案する。 提案手法は, アントロピーに基づくペナルティを応用し, スパース, 集中した特徴属性の促進と, 試料間の安定性の促進を図った。
  論文  参考訳（メタデータ） (2025-07-31T15:45:38Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [45.744838898763554]
  我々はRL目標のステップごとの影響を分析し、効果的な後学習のための2つの重要な条件を同定する。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。 提案手法は,複数のベースモデルを用いた2つの推論ベンチマークで評価する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Forethought and Hindsight in Credit Assignment [62.05690959741223]
  我々は、前向きモデルや後向きモデルによる後向き操作による予測として使われる計画の利益と特異性を理解するために活動する。 本稿では,予測を(再)評価すべき状態の選択に主眼を置いて,計画におけるモデルの利用について検討する。
  論文  参考訳（メタデータ） (2020-10-26T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。