論文の概要: When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training

• arxiv url: http://arxiv.org/abs/2602.21454v1
• Date: Wed, 25 Feb 2026 00:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.647315
• Title: When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training
• Title（参考訳）: ハートを学ぶとき:リアルタイムオンライントレーニングのための固定プールRNN
• Authors: Alexander Morgan, Ummay Sumaya Khan, Lingjia Liu, Lizhong Zheng,
• Abstract要約: 本研究では,再帰性極の学習がデータに有意な利点をもたらしない理由を解析的に検討し,実時間学習シナリオを実証的に提供する。 固定極ネットワークは、トレーニングの複雑さを低減し、オンラインリアルタイムタスクにより適していることを示す。
• 参考スコア（独自算出の注目度）: 58.25341036646294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) can be interpreted as discrete-time state-space models, where the state evolution corresponds to an infinite-impulse-response (IIR) filtering operation governed by both feedforward weights and recurrent poles. While, in principle, all parameters including pole locations can be optimized via backpropagation through time (BPTT), such joint learning incurs substantial computational overhead and is often impractical for applications with limited training data. Echo state networks (ESNs) mitigate this limitation by fixing the recurrent dynamics and training only a linear readout, enabling efficient and stable online adaptation. In this work, we analytically and empirically examine why learning recurrent poles does not provide tangible benefits in data-constrained, real-time learning scenarios. Our analysis shows that pole learning renders the weight optimization problem highly non-convex, requiring significantly more training samples and iterations for gradient-based methods to converge to meaningful solutions. Empirically, we observe that for complex-valued data, gradient descent frequently exhibits prolonged plateaus, and advanced optimizers offer limited improvement. In contrast, fixed-pole architectures induce stable and well-conditioned state representations even with limited training data. Numerical results demonstrate that fixed-pole networks achieve superior performance with lower training complexity, making them more suitable for online real-time tasks.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は離散時間状態空間モデルと解釈でき、状態進化はフィードフォワード重みとリカレント極の両方で制御される無限インパルス応答(IIR)フィルタリング操作に対応する。 原則として、ポール位置を含む全てのパラメータは時間によるバックプロパゲーション(BPTT)によって最適化できるが、そのような共同学習はかなりの計算オーバーヘッドをもたらし、限られたトレーニングデータを持つアプリケーションには実用的ではないことが多い。 エコー状態ネットワーク(ESN)は、リカレントダイナミクスの修正と線形読み込みのみのトレーニングによってこの制限を緩和し、効率的で安定したオンライン適応を可能にする。 本研究では,データ制約のあるリアルタイム学習シナリオにおいて,再帰性極の学習が有意な利益をもたらしない理由を解析的かつ実証的に検討する。 解析の結果,偏極学習は重み付け最適化問題を極めて非凸にし,重み付けに基づく手法が有意な解に収束するためには,はるかに多くのトレーニングサンプルと反復を必要とすることがわかった。 経験的に、複素数値データの場合、勾配勾配は長大な高原をしばしば示し、高度最適化器は限定的な改善をもたらす。 対照的に、固定極アーキテクチャは、限られたトレーニングデータであっても、安定かつ良質な状態表現を誘導する。 数値計算により、固定極ネットワークはトレーニングの複雑さを低減し、オンラインリアルタイムタスクにより適していることを示す。

関連論文リスト

• Online Continual Learning for Time Series: a Natural Score-driven Approach [2.8989185098518626]
  オンライン連続学習(OCL)手法は、過去の知識を忘れずに環境の変化に適応する。 オンライン時系列予測(OTSF)は、データが時間とともに進化し、成功は、迅速な適応と長期記憶の両方に依存する現実世界の問題である。 本稿では,時系列法とOCLの理論的および実践的関係を強化することを目的とする。
  論文  参考訳（メタデータ） (2026-01-19T10:31:01Z)
• Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
  本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。 本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-12-29T12:35:51Z)
• Offline Reinforcement Learning for End-to-End Autonomous Driving [1.2891210250935148]
  エンドツーエンド(E2E)自律走行モデルは、カメライメージのみを入力として取り、将来の軌道を直接予測する。 オンライン強化学習(RL)は、ILによる問題を緩和する可能性がある。 カメラのみのE2EオフラインRLフレームワークを導入し、追加の探索を行わず、固定されたシミュレータデータセットのみをトレーニングする。
  論文  参考訳（メタデータ） (2025-12-21T09:21:04Z)
• oRANS: Online optimisation of RANS machine learning models with embedded DNS data generation [0.0]
  従来のオフラインパラダイムで訓練されたクロージャは、過度に適合し、新しい体制に一般化できない傾向にある。 DLベースのNavier-Stokes(RANS)クロージャに対するオンライン最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-10-03T13:19:01Z)
• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• A Sequential Meta-Transfer (SMT) Learning to Combat Complexities of Physics-Informed Neural Networks: Application to Composites Autoclave Processing [1.6317061277457001]
  PINNは非線形偏微分方程式の解法として人気がある。 PINNは、与えられたPDEシステムの特定の実現を近似するように設計されている。 新しいシステム構成に効率的に適応するために必要な一般化性は欠如している。
  論文  参考訳（メタデータ） (2023-08-12T02:46:54Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。