論文の概要: Does Learning Recurrent Networks Matter in Partially Observable RL?

• arxiv url: http://arxiv.org/abs/2610.13197v1
• Date: Fri, 09 Oct 2026 08:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.476506
• Title: Does Learning Recurrent Networks Matter in Partially Observable RL?
• Title（参考訳）: リカレントネットワークの学習は部分的に観測可能なRLで重要なのか?
• Abstract要約: マルコフ決定過程(POMDP)を解くのに十分なメモリをフリーズ・リカレント・ネットワークが提供できるかどうかを検討する。 驚くことに、凍結されたリカレントネットワークは数百以上のステップでリコールをサポートし、多様なPOMDP間での競合制御性能を達成する。 これらの結果は、繰り返しメモリモジュールの学習がPOMDPの解決に必要であるとは限らないことを示唆している。
• 参考スコア（独自算出の注目度）: 7.08596563828099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) under partial observability typically re- lies on recurrent networks to encode temporal information, with the recurrent module trained jointly with the policy or value function. This raises a natural question: is learning the recurrent network actually necessary? In this paper, we investigate whether a frozen recurrent network can provide sufficient memory for solving par- tially observable Markov decision processes (POMDPs). Motivated by the theoretical foundations of Reservoir Computing (RC) and Generalized Reservoir Computing (GRC), we study a simple archi- tecture that combines a fixed recurrent network with a trainable nonlinear output module. We evaluate this approach across tasks with varying memory demands, observation modalities, and action spaces. Surprisingly, frozen recurrent networks support recall over hundreds of steps and achieve competitive control performance across diverse POMDPs, while using less than half the number of trainable parameters required by their fully trainable counterparts. These results suggest that learning the recurrent memory module is not always necessary for solving POMDPs. Frozen recurrent networks therefore provide a simple, parameter-efficient, and sur- prisingly strong baseline for partially observable RL. Our source code is available at https://github.com/Aphlios/FRN-POMDP
• Abstract（参考訳）: 部分的可観測性下での強化学習(RL)は、時間情報をエンコードするリカレントネットワークに、ポリシーや値関数と共同でトレーニングされたリカレントモジュールを配置するのが一般的である。 これは自然の疑問を提起する: 再帰的なネットワークを実際に学ぶことは本当に必要か? 本稿では,凍ったリカレントネットワークが局所観測可能なマルコフ決定過程(POMDP)を解くのに十分なメモリを提供できるかどうかを検討する。 本稿では,Reservoir Computing (RC) とGeneralized Reservoir Computing (GRC) の理論的基礎により,固定された再帰的ネットワークとトレーニング可能な非線形出力モジュールを結合した単純なアーキテクチャについて検討する。 メモリ要求の異なるタスク、観測モダリティ、行動空間にまたがるこのアプローチを評価する。 驚くべきことに、凍結されたリカレントネットワークは数百以上のステップをリコールし、様々なPOMDPをまたいで競合制御性能を達成する。 これらの結果は、繰り返しメモリモジュールの学習がPOMDPの解決に必要であるとは限らないことを示唆している。 したがって、凍結再カレントネットワークは、部分的に観測可能なRLに対して、単純で、パラメータ効率が高く、シュル=プリンシブに強いベースラインを提供する。 ソースコードはhttps://github.com/Aphlios/FRN-POMDPで公開されています。

関連論文リスト

• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• Online Training and Pruning of Deep Reinforcement Learning Networks [0.0]
  強化学習(RL)アルゴリズムのディープニューラルネットワーク(NN)のスケーリングは、特徴抽出ネットワークを使用する場合のパフォーマンスを向上させることが示されている。 先進RL法において,同時学習とプルーニングを併用する手法を提案する。
  論文  参考訳（メタデータ） (2025-07-16T07:17:41Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Efficient Real Time Recurrent Learning through combined activity and parameter sparsity [0.5076419064097732]
  時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングのための標準アルゴリズムである BPTTはオンライン学習には不適であり、低リソースのリアルタイムシステムの実装に挑戦している。 実時間再帰学習(RTRL)の計算コストを削減できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T01:09:04Z)
• Scalable Real-Time Recurrent Learning Using Columnar-Constructive Networks [19.248060562241296]
  リアルタイム反復学習をスケーラブルにする2つの制約を提案する。 ネットワークを独立したモジュールに分解するか、段階的にネットワークを学習することで、RTRLをパラメータ数と線形にスケールできることを示す。 本稿では,動物学習とアタリ2600ゲームに対する事前学習ポリシーのポリシー評価により,Trncated-BPTTに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-20T23:17:48Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。