論文の概要: Weight-Space Linear Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01153v1
• Date: Sun, 01 Jun 2025 20:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.95566
• Title: Weight-Space Linear Recurrent Neural Networks
• Title（参考訳）: 重み空間線形リカレントニューラルネットワーク
• Authors: Roussel Desmond Nzoyem, Nawid Keshtmand, Idriss Tsayem, David A. W. Barton, Tom Deakin,
• Abstract要約: WARP(Weight-space Adaptive Recurrent Prediction)は、重み空間学習を線形反復で統一する強力なフレームワークである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。
• 参考スコア（独自算出の注目度）: 0.5937476291232799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WARP (Weight-space Adaptive Recurrent Prediction), a simple yet powerful framework that unifies weight-space learning with linear recurrence to redefine sequence modeling. Unlike conventional recurrent neural networks (RNNs) which collapse temporal dynamics into fixed-dimensional hidden states, WARP explicitly parametrizes the hidden state as the weights of a distinct root neural network. This formulation promotes higher-resolution memory, gradient-free adaptation at test-time, and seamless integration of domain-specific physical priors. Empirical validation shows that WARP matches or surpasses state-of-the-art baselines on diverse classification tasks, spanning synthetic benchmarks to real-world datasets. Furthermore, extensive experiments across sequential image completion, dynamical system reconstruction, and multivariate time series forecasting demonstrate its expressiveness and generalization capabilities. Critically, WARP's weight trajectories offer valuable insights into the model's inner workings. Ablation studies confirm the architectural necessity of key components, solidifying weight-space linear RNNs as a transformative paradigm for adaptive machine intelligence.
• Abstract（参考訳）: WARP(Weight-space Adaptive Recurrent Prediction)は、線形再帰で重み空間学習を統一し、シーケンスモデリングを再定義するシンプルなフレームワークである。 時間的ダイナミクスを固定次元の隠れ状態に分解する従来のリカレントニューラルネットワーク(RNN)とは異なり、WARPは隠された状態を異なるルートニューラルネットワークの重みとして明示的にパラメトリズする。 この定式化は、高分解能メモリ、テスト時の勾配なし適応、およびドメイン固有の物理的事前のシームレスな統合を促進する。 実証的な検証は、WARPがさまざまな分類タスクの最先端のベースラインと一致しているか、あるいは超えていることを示している。 さらに、逐次的な画像補完、動的システム再構成、多変量時系列予測などにわたる広範な実験により、その表現性と一般化能力を示す。 WARPの重量軌道は、モデルの内部動作に関する貴重な洞察を提供する。 アブレーション研究は、適応機械インテリジェンスのための変換パラダイムとして、重み空間線形RNNを固形化する重要なコンポーネントのアーキテクチャの必要性を裏付ける。

関連論文リスト

• T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders [2.8820361301109365]
  シャローリカレントデコーダ(SHRED)はスパースセンサ測定からシステム同定と予測に有効である。 我々は、次のステップ状態予測の性能を向上させる時間符号化に変換器(T-SHRED)を活用することにより、SHREDを改善する。 シンボリック回帰は、トレーニング中の潜在空間のダイナミクスを学習し、規則化することによって、モデルの解釈可能性を改善する。
  論文  参考訳（メタデータ） (2025-06-18T21:14:38Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。