論文の概要: Iterative Policy Refinement through Semantic Rollout Analysis

• arxiv url: http://arxiv.org/abs/2610.01652v1
• Date: Thu, 01 Oct 2026 13:15:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.147037
• Title: Iterative Policy Refinement through Semantic Rollout Analysis
• Title（参考訳）: セマンティックロールアウト解析による反復的政策リファインメント
• Abstract要約: LLM誘導型ポリシロールアウト分析を用いて,構造化ポリシを反復的に洗練するクローズドループフレームワークを提案する。 カーレースとドアオープニングタスクの実験により,ゼロショットLLM生成構造よりも最大15%の模倣学習性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 27.649968356066008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured policies improve efficiency, robustness, and interpretability in imitation learning by introducing task-specific inductive bias, but existing structure generation methods rely either on extensive human input or on static domain knowledge encoded in LLMs, which may be inconsistent with the expert demonstrations. We propose a closed-loop framework that iteratively refines structured policies using LLM-guided analysis of policy rollouts. By logging rollouts as semantically meaningful tabular data and prompting the LLM to generate diagnostic analysis code, our method identifies suboptimalities in the policy structure and iteratively corrects them without requiring human instruction. Experiments on car racing and door opening tasks show that our approach improves imitation learning performance by up to 15% over zero-shot LLM-generated structures and requires 75% less compute to achieve the same reinforcement learning performance. These results demonstrate that tabular rollout analysis provides an effective feedback signal to align LLM-generated policy structures with expert demonstrations, and we can utilize it to generate good policy structures automatically.
• Abstract（参考訳）: 構造的ポリシーは、タスク固有の帰納バイアスを導入することで、模倣学習の効率性、堅牢性、解釈可能性を向上させるが、既存の構造的生成手法は、広範囲な人間の入力か、LSMに符号化された静的ドメイン知識に依存し、専門家のデモンストレーションと矛盾する可能性がある。 LLM誘導型ポリシロールアウト分析を用いて,構造化ポリシを反復的に洗練するクローズドループフレームワークを提案する。 ロールアウトを意味のある表型データとしてログアウトし,LCMに診断解析コードの生成を促すことで,ポリシー構造における準最適性を同定し,人間による指示を必要とせずに反復的に修正する。 カーレースとドアオープニングタスクの実験では、ゼロショットLLM生成構造よりも最大15%の模倣学習性能が向上し、同じ強化学習性能を達成するのに75%少ない計算を必要とすることが示されている。 これらの結果から, 表層ロールアウト解析は, LLM生成したポリシー構造を専門家による実証と整合させる効果的なフィードバック信号となり, 優れたポリシー構造を自動生成できることを示した。

関連論文リスト

• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization [1.246870021158888]
  本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。 まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。 計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。
  論文  参考訳（メタデータ） (2025-08-25T14:52:56Z)
• Learning Instruction-Following Policies through Open-Ended Instruction Relabeling with Large Language Models [37.67925131391676]
  本稿では,これまで収集したエージェントの軌跡を振り返ってオープンエンド命令を自動生成する手法を提案する。 我々の中核的な考え方は、エージェントが暗黙的に達成した意味のあるサブタスクを識別することで、LLMを用いて、軌道変更の失敗を回避することである。 我々は,本提案手法を課題であるCraftax環境において実証的に評価し,サンプル効率,命令カバレッジ,全体的な政策性能の明確な改善を実証した。
  論文  参考訳（メタデータ） (2025-06-24T23:49:28Z)
• AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science [8.281093505963158]
  大規模言語モデル(LLM)は、実行可能なコード生成を通じてデータ分析を自動化するために、ますます使われるようになっている。 本稿では,LLM生成データ分析の自動評価と改善のための分析・検査フレームワークであるAIReprについて述べる。
  論文  参考訳（メタデータ） (2025-02-23T01:15:50Z)
• Embodied CoT Distillation From LLM To Off-the-shelf Agents [6.318203525449058]
  DeDerは、大規模言語モデル(LLM)から具体的推論能力を分解し、蒸留するためのフレームワークである。 ALFREDベンチマークによる我々の実験は、DeDerが先進的な言語計画と蒸留アプローチを超越していることを示している。
  論文  参考訳（メタデータ） (2024-12-16T07:18:02Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
  Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。 我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
  論文  参考訳（メタデータ） (2023-07-14T00:10:03Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)
• Hierarchical Variational Imitation Learning of Control Programs [131.7671843857375]
  パラメータ化された階層的手順(PHP)で表される制御ポリシーの模倣学習のための変分推論手法を提案する。 本手法は, 教師による実演の観察・行動トレースのデータセットにおける階層構造を, 手続き呼び出しや用語の待ち行列に近似した後続分布を学習することによって発見する。 階層的模倣学習(hierarchical mimicion learning)の文脈における変分推論の新たな利点を実証する。
  論文  参考訳（メタデータ） (2019-12-29T08:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。