論文の概要: Weight-Space Linear Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01153v2
• Date: Mon, 29 Sep 2025 02:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.392678
• Title: Weight-Space Linear Recurrent Neural Networks
• Title（参考訳）: 重み空間線形リカレントニューラルネットワーク
• Authors: Roussel Desmond Nzoyem, Nawid Keshtmand, Enrique Crespo Fernandez, Idriss Tsayem, Raul Santos-Rodriguez, David A. W. Barton, Tom Deakin,
• Abstract要約: WARP (Weight-space Adaptive Recurrent Prediction) は、重み空間学習を線形反復で統一する強力なモデルである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。 注目すべきは、我々のモデルの物理インフォームド変種は、次の最良のモデルよりも10倍以上優れています。
• 参考スコア（独自算出の注目度）: 2.77067514910801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WARP (Weight-space Adaptive Recurrent Prediction), a simple yet powerful model that unifies weight-space learning with linear recurrence to redefine sequence modeling. Unlike conventional recurrent neural networks (RNNs) which collapse temporal dynamics into fixed-dimensional hidden states, WARP explicitly parametrizes its hidden state as the weights and biases of a distinct auxiliary neural network, and uses input differences to drive its recurrence. This brain-inspired formulation enables efficient gradient-free adaptation of the auxiliary network at test-time, in-context learning abilities, and seamless integration of domain-specific physical priors. Empirical validation shows that WARP matches or surpasses state-of-the-art baselines on diverse classification tasks, featuring in the top three in 5 out of 6 real-world challenging datasets. Furthermore, extensive experiments across sequential image completion, multivariate time series forecasting, and dynamical system reconstruction demonstrate its expressiveness and generalisation capabilities. Remarkably, a physics-informed variant of our model outperforms the next best model by more than 10x. Ablation studies confirm the architectural necessity of key components, solidifying weight-space linear RNNs as a transformative paradigm for adaptive machine intelligence.
• Abstract（参考訳）: 本稿では,重み空間学習を線形反復で統一し,シーケンスモデリングを再定義する簡易かつ強力なモデルであるWARP(Weight-space Adaptive Recurrent Prediction)を紹介する。 時間的ダイナミクスを固定次元の隠れ状態に分解する従来のリカレントニューラルネットワーク(RNN)とは異なり、WARPは特定の補助ニューラルネットワークの重みとバイアスとして隠された状態を明示的にパラメトリズし、入力差を使ってリカレンスを駆動する。 この脳にインスパイアされた定式化は、テスト時の補助ネットワークの効率的な勾配なし適応、コンテキスト内学習能力、およびドメイン固有の物理的事前のシームレスな統合を可能にする。 実証的な検証によると、WARPは6つの現実的課題データセットのうち、上位3つに特徴がある、さまざまな分類タスクにおいて、最先端のベースラインにマッチまたは超越している。 さらに、逐次的な画像補完、多変量時系列予測、動的システム再構築などにわたる広範な実験により、その表現性と一般化能力が実証された。 注目すべきは、我々のモデルの物理インフォームド変種は、次の最良のモデルよりも10倍以上優れています。 アブレーション研究は、適応機械インテリジェンスのための変換パラダイムとして、重み空間線形RNNを固形化する重要なコンポーネントのアーキテクチャの必要性を裏付ける。

関連論文リスト

• T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders [2.8820361301109365]
  シャローリカレントデコーダ(SHRED)はスパースセンサ測定からシステム同定と予測に有効である。 我々は、次のステップ状態予測の性能を向上させる時間符号化に変換器(T-SHRED)を活用することにより、SHREDを改善する。 シンボリック回帰は、トレーニング中の潜在空間のダイナミクスを学習し、規則化することによって、モデルの解釈可能性を改善する。
  論文  参考訳（メタデータ） (2025-06-18T21:14:38Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。