論文の概要: Flowing Through States: Neural ODE Regularization for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.06595v1
- Date: Thu, 06 Aug 2026 21:11:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.289376
- Title: Flowing Through States: Neural ODE Regularization for Reinforcement Learning
- Title（参考訳）: 状態の流れ:強化学習のためのニューラルネットワークの規則化
- Abstract要約: 本稿では,マルコフ決定過程の軌跡と常微分方程式の流れの類似を図り,潜在力学を明示的にモデル化することを提案する。
我々は、一貫したODEフローに従うために潜伏埋め込みを強制するニューラルODEベースの正規化手法を提案する。
提案手法は,A2Cの標準ベンチマークやPPOのグリッドワールド環境において,様々なパフォーマンス向上をもたらす。
- 参考スコア（独自算出の注目度）: 6.230751621285322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks applied to sequential decision-making tasks typically rely on latent representations of environment states. While environment dynamics dictate how semantic states evolve, the corresponding latent transitions are usually left implicit, creating a potential misalignment between the two. We propose to model latent dynamics explicitly by drawing an analogy between Markov decision process (MDP) trajectories and ordinary differential equation (ODE) flows: in both cases, the current state fully determines its successors. Building on this view, we introduce a neural ODE-based regularization method that enforces latent embeddings to follow consistent ODE flows, thereby aligning representation learning with environment dynamics. Although broadly applicable to deep learning agents, we demonstrate its effectiveness in reinforcement learning by integrating it into Actor-Critic algorithms. Our approach yields major performance gains across various standard Atari benchmarks for A2C and gridworld environments for PPO.
- Abstract（参考訳）: シーケンシャルな意思決定タスクに適用されるニューラルネットワークは、通常、環境状態の潜在表現に依存する。
環境力学はセマンティック状態の進化を規定するが、対応する潜伏遷移は通常暗黙に残され、両者の間に潜在的な相違が生じる。
我々は,マルコフ決定過程 (MDP) と常微分方程式 (ODE) の流れの類似を図示することによって,遅延力学を明示的にモデル化することを提案する。
この観点から、我々は、一貫したODEフローに従うために潜伏埋め込みを強制するニューラルODEベースの正規化手法を導入し、表現学習と環境力学を整合させる。
ディープ・ラーニング・エージェントには広く適用できるが,アクター・クライブ・アルゴリズムに組み込んだ強化学習の有効性を実証する。
提案手法は,A2Cの標準ベンチマークやPPOのグリッドワールド環境において,様々なパフォーマンス向上をもたらす。
関連論文リスト
- Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。
本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。
人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
論文 参考訳（メタデータ） (2026-07-01T08:41:49Z) - N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。
トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。
N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
論文 参考訳（メタデータ） (2026-06-09T12:21:27Z) - From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments [11.853431428286598]
連続環境における深部強化学習(RL)の新たな理論的枠組みを提案する。
探索と遷移の両方を組み込んだアクター・クリティカル・アルゴリズムの実行可能なモデルを導入する。
我々は,おもちゃの連続制御タスクを用いて理論的結果を実証的に相関させる。
論文 参考訳（メタデータ） (2026-06-02T23:02:54Z) - State-Action Inpainting Diffuser for Continuous Control with Delay [28.10905055038984]
State-Action Inpainting Diffuser (SAID)は、動的学習の帰納バイアスと政策最適化の直接的な意思決定能力を統合するフレームワークである。
本研究は,遅延を伴う継続的制御と強化学習の分野を前進させる新しい手法を提案する。
論文 参考訳（メタデータ） (2026-03-02T07:28:27Z) - Model-Based Diffusion Sampling for Predictive Control in Offline Decision Making [48.998030470623384]
オフラインの意思決定は、さらなるインタラクションを伴わずに、固定データセットからの信頼性の高い振る舞いを必要とする。
i)タスク整列軌道を多様に生成するプランナー,(ii)システム力学との整合性を強制するダイナミクスモデル,(iii)タスク目標に整合した動作を選択するランサーモジュールからなる構成モデルに基づく拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-09T06:26:02Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳（メタデータ） (2023-07-19T11:32:24Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Data Augmentation through Expert-guided Symmetry Detection to Improve
Performance in Offline Reinforcement Learning [0.0]
マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。
近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。
学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
論文 参考訳（メタデータ） (2021-12-18T14:32:32Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Context-aware Dynamics Model for Generalization in Model-Based
Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文 参考訳（メタデータ） (2020-05-14T08:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。