論文の概要: Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.31261v1
• Date: Fri, 29 May 2026 12:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.61741
• Title: Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
• Title（参考訳）: リニアリカレントメモリが部分観測型強化学習に有効である理由
• Abstract要約: 線形リカレントニューラルネットワークのファミリーは、部分的に観測可能な強化学習において、リカレントメモリユニットとして強い性能を示している。 2つの線形フィルタを構築し, 研究することで, その経験的効果を理論的に正当化する。 数値実験により本研究の主な成果を述べるとともに, 構築された線形フィルタが, 小型強化学習ゲームにおいて, 強力な特徴抽出器として機能することを示す。
• 参考スコア（独自算出の注目度）: 33.24398912851969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The family of linear recurrent neural networks has shown strong performance as recurrent memory units in partially observable reinforcement learning. We provide a theoretical justification for their empirical effectiveness by constructing and studying two linear filters: (i) the first exactly reproduces the pre-softmax logits of the belief vector in a hidden Markov model (HMM) under a deterministic transition matrix, thereby serving as a sufficient statistic for optimal policy learning, (ii) the second achieves vanishing state-decoding error under a nearly deterministic transition matrix, thus reducing state ambiguity to near zero. The results extend to action-controlled HMMs, where the corresponding linear filters become time-varying with action-dependent dynamics. We illustrate our main results through numerical experiments and further show that the constructed linear filter serves as a strong feature extractor in a small reinforcement learning game.
• Abstract（参考訳）: 線形リカレントニューラルネットワークのファミリーは、部分的に観測可能な強化学習において、リカレントメモリユニットとして高い性能を示している。 2つの線形フィルタを構築し, 研究することで, その経験的効果を理論的に正当化する。 (i)第一項は、決定論的遷移行列の下で隠れマルコフモデル(HMM)における信念ベクトルの前ソフトマックスロジットを正確に再現し、最適政策学習に十分な統計量として機能する。 (ii) ほぼ決定論的遷移行列の下で状態復号誤差を解消し、状態の曖昧さをほぼゼロに抑える。 結果は、アクション制御されたHMMにまで拡張され、対応する線形フィルタはアクション依存力学で時間変化する。 数値実験により本研究の主な成果を述べるとともに, 構築された線形フィルタが, 小型強化学習ゲームにおいて, 強力な特徴抽出器として機能することを示す。

関連論文リスト

• Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning [53.983686308399676]
  Mambaは、強い経験的性能を持つ線形時間列モデルである。 単一インデックスモデル $y approx g_* (langle boldsymbolbeta, boldsymbolx rangle)$ の文脈内学習について検討する。 勾配に基づく手法で事前学習したMambaは,テスト時間特徴学習によって効率的なICLを実現することができることを示す。
  論文  参考訳（メタデータ） (2025-10-14T00:21:20Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
  完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。 これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
  論文  参考訳（メタデータ） (2024-10-24T17:24:34Z)
• Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
  我々は、RFMが次元還元を行うための最初の理論的保証を開発する。 反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。 我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
  論文  参考訳（メタデータ） (2024-01-09T13:44:12Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。