論文の概要: Privacy-Preserving Prompted Policy Search for Robotic Control

• arxiv url: http://arxiv.org/abs/2609.30554v1
• Date: Thu, 24 Sep 2026 21:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.140273
• Title: Privacy-Preserving Prompted Policy Search for Robotic Control
• Title（参考訳）: ロボット制御のためのプライバシ保護プロンプトポリシー探索
• Abstract要約: PP-ProPSは秘密クライアント側変換を用いてポリシーパラメータと報酬値を符号化する。 Vanilla ProPSとは異なり、提案されたフレームワークは、LLMに知られ、開示される真の最適エピソードリターンを必要としない。 Vanilla ProPSと比較して、提案されたPP-ProPSは、評価された10のタスクのうち7つでProPSを上回っている。
• 参考スコア（独自算出の注目度）: 10.596166236986093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have recently demonstrated promising capabilities as in-context policy optimizers for Reinforcement Learning (RL), enabling policy search driven by both numerical reward signals and natural language reasoning. However, deploying such methods in practice requires transmitting raw policy parameters and rewards history to cloud-based LLM APIs, exposing proprietary control strategies to third-party service providers. To address this issue, this paper introduces Privacy-Preserving Prompted Policy Search (PP-ProPS), a framework that enables LLM-guided policy optimization while keeping policy and environmental parameters confidential. PP-ProPS encodes policy parameters and reward values using secret client-side transformations before they are included in each API request, ensuring that the LLM provider observes only encoded policy parameters and scaled reward information. Furthermore, unlike Vanilla ProPS, the proposed framework does not require the true optimal episodic return to be known or disclosed to the LLM. Beyond protecting the optimization data, PP-ProPS improves the search process in two ways. First, it provides the LLM with individual reward components instead of only a single total return, offering more informative feedback about each candidate policy. Second, it uses a bounded history that prevents the prompt from growing indefinitely, improving search with high-dimensional policies and supporting the use of open-weight LLMs. The proposed PP-ProPS is evaluated on both continuous and discrete control problems spanning Multi-Joint dynamics with Contact (MuJoCo) locomotion, classic control, highway driving, and robotic arm manipulation. Compared to Vanilla ProPS, the proposed PP-ProPS outperforms ProPS in seven of the ten evaluated tasks, and surpasses conventional RL methods including PPO, SAC, and TRPO, in five of the six tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、数値報酬信号と自然言語推論の両方によって駆動されるポリシー探索を可能にする強化学習(RL)のためのコンテキスト内ポリシーオプティマイザとして有望な能力を実証した。 しかし、そのようなメソッドを実際にデプロイするには、生のポリシーパラメータを送信し、履歴をクラウドベースのLLM APIに送信し、サードパーティのサービスプロバイダにプロプライエタリなコントロール戦略を公開する必要がある。 この問題に対処するために, プライバシ保護プロンプトポリシーサーチ (PP-ProPS) を導入する。 PP-ProPSは、各API要求に含まれる前に、秘密クライアント側変換を使用してポリシーパラメータと報酬値をエンコードする。 さらに、Vanilla ProPSとは異なり、提案されたフレームワークは、LLMに知られ、開示される真の最適エピソードリターンを必要としない。 最適化データを保護する以外に、PP-ProPSは2つの方法で検索プロセスを改善している。 まず、LLMに1つの全リターンではなく、個別の報酬コンポーネントを提供し、各候補ポリシーに関するより情報的なフィードバックを提供する。 第二に、境界付き履歴を使い、プロンプトが無限に成長するのを防ぎ、高次元ポリシーによる探索を改善し、オープンウェイトLSMの使用をサポートする。 提案したPP-ProPSは、コンタクト付きマルチライン動特性(MuJoCo)、古典的制御、ハイウェイ駆動、ロボットアーム操作にまたがる連続的および離散的な制御問題を評価した。 提案したPP-ProPSはVanilla ProPSと比較して,10タスクのうち7タスクでProPSを上回っ,PPO,SAC,TRPOといった従来のRL手法を5タスクで上回っている。

関連論文リスト

• When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks? [15.079504478885953]
  大規模言語モデル(LLM)は、強化学習タスクの効果的なブラックボックスポリシーモデルとして機能する。 Prompted Policy Optimization (PromptPO) は、状態空間、アクション空間、報酬関数をPythonで記述した LLM を反復的に生成する手法である。 PromptPOは、環境相互作用を著しく少なくしながら、標準のRLベースラインのパフォーマンスにマッチまたは超過することが多い。
  論文  参考訳（メタデータ） (2026-05-29T01:24:24Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
  静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。 オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。 大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:37:44Z)
• Policy Filtration for RLHF to Mitigate Noise in Reward Models [27.278933096153974]
  PF-PPOのためのポリシーフィルタリング PF-PPOはポリシー学習時の信号対雑音比を改善する。 コード生成および数理推論タスクにおけるPF-PPOの有効性を検証する実験を行う。
  論文  参考訳（メタデータ） (2024-09-11T02:40:38Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。