論文の概要: Neural Co-state Policies: Structuring Hidden States in Recurrent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.05373v2
• Date: Mon, 11 May 2026 11:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 19:24:01.323167
• Title: Neural Co-state Policies: Structuring Hidden States in Recurrent Reinforcement Learning
• Title（参考訳）: ニューラルネットワークによる強化学習における隠れ状態の構造化
• Authors: David Leeftink, Max Hinne, Marcel van Gerven,
• Abstract要約: インテリジェントエージェントの重要な機能は、部分的な可観測性の下で動作することである。 強化学習を通じて学んだメモリベースのポリシーは、履歴を潜在状態表現にエンコードすることでこの問題に対処するが、内部のダイナミクスは解釈不能なブラックボックスのままである。 本稿では,これらの隠蔽状態と最適制御からポントリャーギン最小原理(PMP)を公式にリンクする。
• 参考スコア（独自算出の注目度）: 1.4055388501740322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key capability of intelligent agents is operating under partial observability: reasoning and acting effectively despite missing or incomplete state observations. While recurrent (memory-based) policies learned via reinforcement learning address this by encoding history into latent state representations, their internal dynamics remain uninterpretable black boxes. This paper establishes a formal link between these hidden states and the Pontryagin minimum principle (PMP) from optimal control. We demonstrate that for standard recurrent architectures, latent representations map directly to PMP co-states, which allows the readout layer to be interpreted as performing Hamiltonian minimization. Because standard reward maximization does not naturally discover this alignment, we introduce a PMP-derived co-state loss to explicitly structure the internal dynamics. Empirically, this approach matches or improves performance on partially observable DMControl tasks, and is robust against zero-shot out-of-distribution sensor masking. By framing recurrent networks as dynamic processes governed by the minimum principle, we provide a principled approach to designing robust continuous control policies.
• Abstract（参考訳）: 知的エージェントの重要な能力は、部分的な観測可能性の下で動作することである。 強化学習を通じて学んだ(メモリベースの)ポリシーは、履歴を潜在状態表現にエンコードすることでこの問題に対処するが、内部のダイナミクスは解釈不能なブラックボックスのままである。 本稿では,これらの隠蔽状態と最適制御からポントリャーギン最小原理(PMP)を公式にリンクする。 標準的な再帰型アーキテクチャでは、潜在表現は直接PMPコステートにマップされ、読み出し層はハミルトン最小化の実行と解釈できる。 標準報酬最大化は、このアライメントを自然に発見しないので、内部力学を明示的に構造化するために、PMP由来の共状態損失を導入する。 実験的に、このアプローチは部分的に観測可能なDMControlタスクのパフォーマンスと一致または改善し、ゼロショットのアウトオブディストリビューションセンサーマスキングに対して堅牢である。 最小限の原理で制御される動的プロセスとしてリカレントネットワークをフレーミングすることにより、ロバストな継続的制御ポリシーを設計するための原則的なアプローチを提供する。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies [30.35690865689118]
  既存の強化学習アプローチは、大きな言語モデル(LLM)を単一の統一ポリシーとして扱い、内部メカニズムを見渡す。 本研究では,トランスフォーマー残流の内在的分割と隠れ状態の構成と非埋め込み行列との等価性を利用して,言語モデルポリシーを分解する。 この分解によって、個々のレイヤからのコントリビューションに対応する内部レイヤポリシと、自己注意とフィードフォワードネットワークと整合する内部モジュールポリシが明らかになった。
  論文  参考訳（メタデータ） (2025-12-22T18:51:48Z)
• Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
  マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。 我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
  論文  参考訳（メタデータ） (2025-09-03T18:05:02Z)
• Eigen Neural Network: Unlocking Generalizable Vision with Eigenbasis [5.486667906157719]
  固有ニューラルネットワーク(Eigen Neural Network, ENN)は、各層の重みを再パラメータ化する新しいアーキテクチャである。 標準BPと統合すると、ENNは大規模画像分類ベンチマークにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-02T06:33:58Z)
• NPO: Learning Alignment and Meta-Alignment through Structured Human Feedback [0.0]
  我々は,人間のループ内決定システムにおけるフィードバック駆動型適応を運用するアライメント対応学習フレームワークであるNPOを提案する。 NPOは、構造化されたフィードバックの下で測定可能で、監視可能で、再現可能なアライメント損失の形式化を導入する。
  論文  参考訳（メタデータ） (2025-07-22T11:23:18Z)
• State Estimation and Control of Dynamic Systems from High-Dimensional Image Data [0.0]
  本稿では、畳み込みニューラルネットワーク(CNN)を用いた空間的特徴抽出と、ゲートリカレントユニット(GRU)による時間的モデリングを統合した新しいニューラルアーキテクチャを提案する。 実験により,提案手法により,地中構造に直接アクセスすることなく,リアルタイム,高精度な推定と制御が可能であることを実証した。
  論文  参考訳（メタデータ） (2025-05-30T17:40:06Z)
• Point-Based Value Iteration for POMDPs with Neural Perception Mechanisms [31.51588071503617]
  ニューロシンボリックな部分観測可能なマルコフ決定過程(NS-POMDP)を紹介する。 状態空間と値ベクトルを包含するポリヘドラを用いて, 分割線形凸表現(P-PWLC)を提案する。 本稿では,ReLUニューラルネットワークを知覚機能として用いた2つのケーススタディに対して,本手法の実用性を示す。
  論文  参考訳（メタデータ） (2023-06-30T13:26:08Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Bounded Robustness in Reinforcement Learning via Lexicographic Objectives [54.00072722686121]
  強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。 本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。 本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:53:18Z)
• Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity [50.38337893712897]
  線形性を仮定しないMDP上の構造条件であるEPW(Effective Planning Window)条件を導入する。 EPW条件は、この条件を満たすMDPを確実に解くアルゴリズムを提供することで、サンプル効率のよいRLを許容することを示した。 また, EPW のような条件の必要性も示し, わずかに非線形な単純な MDP を効率的にサンプリングできないことを示した。
  論文  参考訳（メタデータ） (2021-06-15T00:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。