論文の概要: Reinforcement Learning with Complex (valued) Memories

• arxiv url: http://arxiv.org/abs/2609.38598v1
• Date: Tue, 29 Sep 2026 21:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.778434
• Title: Reinforcement Learning with Complex (valued) Memories
• Title（参考訳）: 複合記憶を用いた強化学習
• Abstract要約: 部分的に観測可能な環境は、深い強化学習において根本的な課題となる。 より優れた勾配流と連想リコールを示すユニタリリカレントネットワーク(uRNN)を再検討する。 我々は、繰り返しPPOアーキテクチャのドロップイン置換として、uRNNの3つの異なるバージョンを提案する。
• 参考スコア（独自算出の注目度）: 28.771732254657053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Partially observable environments pose a fundamental challenge in deep reinforcement learning, requiring agents to compress temporal information from observations and maintain a memory to make effective decisions. While there exist many approaches ranging from gated recurrence to attention mechanisms and model-based RL, the search for effective representational techniques that can capture long-term dependencies remains an active area of research. In this work we revisit Unitary recurrent networks (uRNNs) [Arjovsky et al., 2016, Jing et al., 2017], that demonstrated superior gradient flow and associative recall, expressing the recurrence and the hidden state in a complex vector space. Their norm preserving unitary dynamics enable information propagation through long sequences. To this end, we propose three different versions of uRNNs as drop-in replacements for recurrent PPO architectures, and demonstrate that the simple recurrence and the added degree of freedom from the phase of the complex representations enable significant gains over baselines on several memory-improvable tasks, including continuous control. We further explore how to preserve the phase information of the complex hidden state for a phase-aware policy by drawing a parallel to how quantum states are measured. With our methods reaching up to 2-3 $\times$ the reward in environments like rocksample and Craftax compared to the baselines, this work points towards an exciting new direction of representations for RL and the problem of partial observability. Code is available at: https://github.com/Sathya98/qurl
• Abstract（参考訳）: 部分観察可能な環境は深い強化学習において根本的な課題となり、エージェントは観察から時間情報を圧縮し、効果的な決定を行うために記憶を維持する必要がある。 ゲートの再発から注意機構、モデルに基づくRLまで、多くのアプローチが存在するが、長期的な依存関係を捉える効果的な表現手法の探索は研究の活発な領域である。 本研究では,より優れた勾配流と連想的リコールを示すユニタリリカレントネットワーク (uRNNs) [Arjovsky et al , 2016 Jing et al , 2017] を再検討し,複素ベクトル空間におけるリカレンスと隠れ状態を表現する。 彼らのノルムを保存するユニタリダイナミクスは、長いシーケンスを通して情報伝達を可能にする。 そこで本研究では, 再帰型PPOアーキテクチャのドロップイン置換として, uRNNの3つの異なるバージョンを提案し, 複雑な表現の位相からの単純な再帰と付加自由度により, 連続制御を含むメモリ改善タスクのベースラインよりも大幅に向上できることを実証する。 さらに、量子状態の測定方法と平行に描画することで、位相認識ポリシーのための複素隠蔽状態の位相情報を保存する方法について検討する。 ベースラインと比較して,ロックアンプやCraftaxのような環境における報酬が最大2～3ドルに達すると,この作業はRLの新たな表現方向と部分可観測性の問題を指します。 コードは、https://github.com/Sathya98/qurl.comで入手できる。

関連論文リスト

• Beyond Episodic AI: Cognitive Field Networks for Biologically Inspired Persistent Cognition [0.0]
  認知場理論 (Cognitive Field Theory, CFT) は、認知は永続的なマクロな認知場を生成する記憶型集団力学から生じることを提唱している。 我々は,[ _n+1=F_(X_n+1,_n) を介して,組織された隠れフィールドがその後の推論に再入力するリカレント・トランスフォーマである認知場ネットワーク (CFN) を開発した。 学習は、トレーニングされたリカレント水平線とともに、時間スケールが体系的に増加する永続的、コンテンツ依存のリカレントダイナミクスを組織化する。
  論文  参考訳（メタデータ） (2026-09-15T07:29:04Z)
• The Topological Trouble With Transformers [12.229239113414236]
  トランスフォーマーは、拡張コンテキスト履歴を通じてシーケンスの構造をエンコードする。 純粋にフィードフォワードアーキテクチャは、動的状態追跡を根本的に制限する。 我々は、時間的に拡張された認知には、明示的な思考トレースから暗黙的なアクティベーションダイナミクスへの再焦点が必要であると論じる。
  論文  参考訳（メタデータ） (2026-04-18T19:46:30Z)
• Long-Term Multi-Session 3D Reconstruction Under Substantial Appearance Change [52.46888249268445]
  長期の環境モニタリングには、数ヶ月または数年ごとに分割された繰り返しサイト訪問で3Dモデルを再構築し調整する機能が必要である。 既存のアプローチは、独立して再構築されたセッションのポストホックアライメントに依存している。 我々は,共同SfM再建において,クロスセッション対応を直接実施することを提案する。
  論文  参考訳（メタデータ） (2026-02-24T06:12:51Z)
• Reduced Spatial Dependency for More General Video-level Deepfake Detection [9.51656628987442]
  本稿では,複数の空間的摂動クラスタから共通の時間的整合性を統合した空間依存削減法を提案する。 大規模なベンチマークとアブレーション研究は、我々のアプローチの有効性と合理性を示している。
  論文  参考訳（メタデータ） (2025-03-05T08:51:55Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たな画像は、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを探索する余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• Reconciling Spatial and Temporal Abstractions for Goal Representation [0.4813333335683418]
  ゴール表現は階層強化学習(HRL)アルゴリズムの性能に影響する。 近年の研究では、時間的に抽象的な環境動態を保った表現が困難な問題の解決に成功していることが示されている。 本稿では,空間的および時間的目標抽象化の両方において,階層の異なるレベルにおいて,新しい3層HRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-18T10:33:30Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
  我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。 特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。 以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T16:39:57Z)
• Exploratory State Representation Learning [63.942632088208505]
  本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。 一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。 一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
  論文  参考訳（メタデータ） (2021-09-28T10:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。