論文の概要: Learning Transferable Policies from Action-free Time Series Through Dynamical Embeddings

• arxiv url: http://arxiv.org/abs/2610.03065v1
• Date: Fri, 02 Oct 2026 09:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.309722
• Title: Learning Transferable Policies from Action-free Time Series Through Dynamical Embeddings
• Title（参考訳）: 動的埋め込みによるアクションフリー時系列からの伝達可能なポリシーの学習
• Abstract要約: 本稿では,アクションフリー記録からシステム固有の制御ポリシーを学習する階層型モデルに基づく強化学習フレームワークを提案する。 階層的力学系再構成モデルは、低次元埋め込みを通して共有力学と個人変動をキャプチャする。 ポリシは、追加の潜伏摂動を伴う明示的な介入モデルの下で、完全にシミュレーションによって訓練される。
• 参考スコア（独自算出の注目度）: 4.082216579462797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning control from action-free recordings is challenging because intervention effects are unobserved and policies may exploit errors in reconstructed dynamics. We present a hierarchical model-based reinforcement learning framework that uses shared structure across related systems to learn system-specific control policies from action-free recordings. A hierarchical dynamical system reconstruction model captures shared dynamics and individual variation through low-dimensional embeddings. These embeddings are then reused to parameterize shared policy and value networks, linking differences in reconstructed dynamics to differences in control. Policies are trained entirely via simulation under an explicit intervention model with additive latent perturbations. Piecewise-linear recurrent neural networks enable mechanistic analyses of the controlled dynamics, while decoder-based constraints make the immediate effects of interventions interpretable in observation space and permit interventions on one modality while protecting another from direct manipulation. On Lorenz-63 and double-pendulum systems, hierarchical policies improve transfer over independently trained policies. On Lorenz-63, they also achieve a higher mean reward than repeated planning with the same reconstructed models, perform comparably to methods trained with controlled interactions, and generalize to systems absent from policy training after embedding inference alone. Applications to neural-behavioral recordings demonstrate suppression of predicted movement under constrained neural perturbations. Together, these findings show how shared dynamical representations support transferable control and mechanistic hypothesis generation from action-free recordings.
• Abstract（参考訳）: 介入効果は観測されず、ポリシーは再構成されたダイナミクスのエラーを利用する可能性があるため、アクションフリー記録からの制御を学習することは困難である。 本稿では,関連するシステム間の共有構造を用いて,アクションフリー記録からシステム固有の制御ポリシーを学習する階層型モデルに基づく強化学習フレームワークを提案する。 階層的力学系再構成モデルは、低次元埋め込みを通して共有力学と個人変動をキャプチャする。 これらの埋め込みは、共有ポリシーとバリューネットワークのパラメータ化に再利用され、再構成されたダイナミクスの違いと制御の違いをリンクする。 ポリシは、追加の潜伏摂動を伴う明示的な介入モデルの下で、完全にシミュレーションによって訓練される。 線形線形リカレントニューラルネットワークは制御された力学の機械的解析を可能にし、デコーダに基づく制約は観察空間で解釈可能な介入の即時効果を与え、一方のモードに対する介入を許し、他方の直接操作から保護する。 Lorenz-63 と double-pendulum システムでは、階層的なポリシーは独立に訓練されたポリシーの転送を改善する。 Lorenz-63では、同じ再構成されたモデルで繰り返し計画するよりも高い平均報酬を達成し、制御された相互作用で訓練された手法と互換性を持って実行し、推論のみを埋め込んだ後、政策訓練を欠いたシステムに一般化する。 神経行動記録への応用は、拘束された神経摂動下での予測運動の抑制を示す。 これらの結果から, 動力学的表現の移動制御とメカニスティックな仮説生成が, アクションフリー記録からどのように実現されているかが示唆された。

関連論文リスト

• Dynamic Treatment on Networks [0.7349727826230862]
  ネットワークにおいて、効果的な動的処理割り当ては、引きこぼしによるポリシーの影響を増幅するために、誰が扱うか、いつ扱うかを決定する必要がある。 本稿では,ベイズ力学Isingモデルを用いて,1つの観測パネルからネットワーク適用動態を推定する3段階パイプラインQ-Isingを提案する。 本研究では,インド・ビレッジのマイクロファイナンスネットワークと人工ブロックモデルを用いて,異種性感受性感受性(SIS)動態のシミュレーションを行った。
  論文  参考訳（メタデータ） (2026-05-07T16:58:38Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
  無線ネットワークにおける自己回帰的マルコフ音源のリアルタイムサンプリングと推定について検討する。 政策最適化のためのグラフィカル強化学習フレームワークを提案する。 理論的には、提案したポリシーは転送可能であり、あるグラフ上で訓練されたポリシーを構造的に類似したグラフに効果的に適用することができる。
  論文  参考訳（メタデータ） (2026-01-19T02:18:45Z)
• Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Learning from Demonstration with Implicit Nonlinear Dynamics Models [16.26835655544884]
  本研究では、時間的ダイナミクスをモデル化するための可変な動的特性を持つ固定非線形力学系を含むリカレントニューラルネットワーク層を開発する。 LASA Human Handwriting データセットを用いて人間の手書き動作を再現する作業において,ニューラルネットワーク層の有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-27T14:12:49Z)
• Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
  モデルに基づく強化学習手法であるIso-Dream++を提案する。 我々は、切り離された潜在的想像力に基づいて政策最適化を行う。 これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-03-27T02:55:56Z)
• A Policy Iteration Approach for Flock Motion Control [5.419608513284392]
  全体的な制御プロセスは、群れの粘着性と局在性を監視しながらエージェントを誘導する。 ここでは、独立したコマンドジェネレータに従うためにエージェント群を誘導するために、オンラインモデルフリーのポリシーイテレーションメカニズムが開発されている。 政策反復機構のシミュレーション結果から,計算労力の少ない高速学習と収束挙動が明らかになった。
  論文  参考訳（メタデータ） (2023-03-17T15:04:57Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Hierarchical Decomposition of Nonlinear Dynamics and Control for System Identification and Policy Distillation [39.83837705993256]
  強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。 制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
  論文  参考訳（メタデータ） (2020-05-04T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。