論文の概要: Path Integral Value Matching for Linear Quadratic Stochastic Optimal Control

• arxiv url: http://arxiv.org/abs/2608.10777v1
• Date: Tue, 11 Aug 2026 10:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.007247
• Title: Path Integral Value Matching for Linear Quadratic Stochastic Optimal Control
• Title（参考訳）: 線形二次確率的最適制御のための経路積分値マッチング
• Abstract要約: 現在の最先端のポリシーベースの手法は、計算コストの禁止と不安定さに悩まされている。 経路積分制御(PIC)の再検討による価値に基づくアプローチへのパラダイムシフトを提案する。 この理論的基礎に基づいて,パス積分値マッチング (PI-VM) アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 26.034302137738127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear Quadratic Stochastic Optimal Control (LQ-SOC) establishes a fundamental framework for steering noisy dynamical systems and has recently gained renewed interest in the machine learning community. However, current state-of-the-art policy-based methods suffer from prohibitive computational costs and instability due to their heavy reliance on full-trajectory simulation. To overcome these limitations, we propose a paradigm shift toward a value-based approach by revisiting Path Integral Control (PIC). Although standard PIC suffers from the same high-variance bottleneck as policy-based methods, we discover that by truncating and marginalizing the original path integral formulation, we can derive a temporal recursive form of the value function. Building upon this theoretical foundation, we propose the Path Integral Value Matching (PI-VM) algorithm. Specifically, we employ temporal-difference learning to approximate the recursive value dynamics, and further integrate the Girsanov theorem with experience replay to enable off-policy training. We benchmark PI-VM against SOTA policy-based methods across various SOC benchmarks and sampling tasks. Empirical results demonstrate that PI-VM matches SOTA precision with an order-of-magnitude efficiency gain in low-dimensional settings, while effectively mitigating mode collapse in high-dimensional scenarios. Consequently, PI-VM offers a scalable solution for solving complex SOC problems.
• Abstract（参考訳）: LQ-SOC(Linear Quadratic Stochastic Optimal Control)は、ノイズの多い動的システムを操る基本的なフレームワークを確立し、最近、機械学習コミュニティに新たな関心を集めている。 しかし、現在の最先端のポリシーベースの手法は、完全な軌道シミュレーションに大きく依存しているため、計算コストと不安定性に悩まされている。 これらの制約を克服するために,パス積分制御(PIC)を再検討することにより,価値に基づくアプローチへのパラダイムシフトを提案する。 標準PICはポリシーに基づく手法と同一の高分散ボトルネックに悩まされているが、元の経路積分の定式化を切り離すことによって、値関数の時間的再帰形式を導出できることが分かる。 この理論的基礎に基づいて,パス積分値マッチング (PI-VM) アルゴリズムを提案する。 具体的には、時間差学習を用いて再帰的値のダイナミクスを近似し、さらにギルサノフの定理を経験的リプレイと統合し、非政治的な訓練を可能にする。 PI-VMを各種SOCベンチマークおよびサンプリングタスク間でSOTAポリシーベースのメソッドに対してベンチマークする。 実証実験の結果,PI-VMは低次元環境でのSOTA精度と高次元シナリオでのモード崩壊を効果的に軽減しつつ,高次元環境下での大域的効率向上と一致していることがわかった。 その結果、PI-VMは複雑なSOC問題を解決するスケーラブルなソリューションを提供する。

関連論文リスト

• A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models [9.133661763917374]
  我々は、離散状態空間とおそらく任意の行動空間で連続的に強化学習(RL)を定式化する。 スコアベース離散拡散モデルを微調整するための完全連続時間RLフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-16T03:19:53Z)
• Learning the Riccati solution operator for time-varying LQR via Deep Operator Networks [13.357666564741153]
  有限水平線形二次レギュレータ(LQR)問題における微分リカティ方程式の繰り返し数値解を置き換えるための計算フレームワークを提案する。 新しいシステムインスタンスごとに非線形行列値微分方程式を解く代わりに、関連する解作用素の近似をオフラインで構築する。 得られたモデルは、広範囲のシステムにまたがる近似最適フィードバックの高速なオンライン評価を可能にする。
  論文  参考訳（メタデータ） (2026-04-20T16:56:34Z)
• CT-VoxelMap: Efficient Continuous-Time LiDAR-Inertial Odometry with Probabilistic Adaptive Voxel Mapping [15.34037575218496]
  本稿では,B-スプラインの累積形式に基づく新しい連続時間オドメトリー法を提案する。 我々はIMU測定による前方伝播情報を用いて、オンラインの適合誤差を推定し、ハイブリッドな特徴ベースのボクセルマップ管理戦略を導入する。 提案手法は、複数の課題のある公開データセット上で評価され、ほとんどのシーケンスにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2026-04-04T14:27:54Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。