論文の概要: ADPTNet: Adaptive with Prescriptive Timescales Non-Linear SSM for Sequence Modelling

• arxiv url: http://arxiv.org/abs/2609.34034v1
• Date: Sun, 27 Sep 2026 23:56:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:36:54.231194
• Title: ADPTNet: Adaptive with Prescriptive Timescales Non-Linear SSM for Sequence Modelling
• Title（参考訳）: ADPTNet:シーケンスモデリングのための規範的時間スケール非線形SSMへの適応
• Abstract要約: ニューロモルフィックコンピューティングは、高エネルギー集約型トランスフォーマーベースのAIに代わる実行可能な選択肢を提供することを目指している。 本研究では,Adaptive with Prescriptive Timescales Network (ADPTNet) を4つの特性を同時に実現するための潜在的なソリューションとして提案する。
• 参考スコア（独自算出の注目度）: 0.0991631557764242
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A central aim of neuromorphic computing is to provide a viable alternative to highly energy-intensive Transformer-based AI. However, efficient alternatives struggle to capture the set of qualities that have secured the Transformer's status as the de facto standard in sequence modelling. Any realistic contender must be data-adaptive, able to capture long-range dependencies, and GPU-parallelisable, but also non-linearly recurrent to enable complex reasoning. Based on evidence suggesting the auditory cortex operates on fixed timescales, this work proposes the ADaptive with Prescriptive Timescales Network (ADPTNet) as a potential solution to achieving all four properties simultaneously. ADPTNet is built around local topological conjugates, obtained by a novel combination of linear attention and Riemannian optimisation, applied to static global dynamics. This enables non-linear yet predictable long-term behaviour. Dynamical systems theory proofs provide theoretical guarantees for the parametric control of ADPTNet's timescales (its Lyapunov spectrum). ADPTNet improves performance on Selective Copying over Hawk, the existing method balancing long-range memory and adaptability, while also improving state tracking over linear SSMs like Mamba. On sequential CIFAR-10, ADPTNet matches linear SSM accuracy and outperforms existing selective models (incl. the Transformer), using fewer parameters. We also introduce a neuromorphic SpikingADPTNet, which achieves a new state-of-the-art accuracy on the Spiking Speech Commands dataset ($83.56\%\pm0.15$). Finally, ADPTNet's constant timescales enable two efficient, Jacobian-free extensions to the DEER parallel simulation algorithm (Conv and Forward DEER) that retain the same average convergence. Conv DEER adds no computational overhead beyond the network's forward pass and enables non-linear RNN parallelisation via iterated convolutions for the first time.
• Abstract（参考訳）: ニューロモルフィックコンピューティングの中心的な目的は、高エネルギー集約型トランスフォーマーベースのAIに代わる実行可能な代替手段を提供することである。 しかし、効率的な代替手段は、シークエンスモデリングにおけるデファクトスタンダードとしてのTransformerの地位を確保した品質の集合を捉えるのに苦労する。 現実的な競合者は、データ適応的で、長距離依存関係をキャプチャでき、GPU並列性も必要だが、複雑な推論を可能にするために、非線形リカレントも必要である。 聴覚野が一定の時間スケールで機能することを示す証拠に基づいて、この研究は4つの特性を同時に達成するための潜在的な解決策としてAdaptive with Prescriptive Timescales Network (ADPTNet)を提案する。 ADPTNetは局所的トポロジカル共役を中心に構築されており、線形注意とリーマン最適化の新たな組み合わせによって得られる。 これにより、非線形で予測可能な長期的な動作が可能になる。 力学系理論の証明はADPTNetの時間スケール(リアプノフスペクトル)のパラメトリック制御の理論的保証を提供する。 ADPTNetは、長距離メモリと適応性のバランスをとる既存のメソッドであるHawk上の選択コピーのパフォーマンスを改善し、Mambaのような線形SSM上での状態トラッキングを改善している。 シーケンシャル CIFAR-10 では、ADPTNet は線形 SSM の精度と一致し、より少ないパラメータを用いて既存の選択モデル(トランスフォーマーを含む)より優れている。 また、スパイキング音声コマンドデータセット(83.56\%\pm0.15$)に新しい最先端の精度を実現するニューロモルフィックなスパイキングADPTNetを導入する。 最後に、ADPTNetの定数時間スケールは、同じ平均収束を保持するDER並列シミュレーションアルゴリズム(ConvとForward DEER)に対する2つの効率的でヤコビのない拡張を可能にする。 Conv DEERは、ネットワークのフォワードパス以外の計算オーバーヘッドを追加せず、反復畳み込みによる非線形RNN並列化を初めて可能にする。

関連論文リスト

• GNet: A scalable and flexible Gaussian process network with nonparametric neurons [0.6599344783327052]
  ガウス過程をモデル化した非パラメトリックアクティベーション機能を備えたスケーラブルで柔軟なガウスプロセスネットワークであるGNetを開発した。 統一された最適化設定を使用して、GNetは様々なテスト問題で競合するパフォーマンスを示す。 GNetの強い性能は、共同逆カルマンフィルタによって加速され、大規模予測モデルに適用可能であることを示唆している。
  論文  参考訳（メタデータ） (2026-07-12T12:40:55Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method [0.0]
  我々は、ディープニューラルネットワーク(DNN)を訓練するためのAPTS(Additively Preconditioned Trust-Region Strategy)の変種を提案する。 提案手法はデータ並列手法を用いて非線形最適化戦略で使用される非線形プリコンディショナーを構築する。 MNISTとCIFAR-10データセットを用いて提案したAPTS変種の性能を示す。
  論文  参考訳（メタデータ） (2025-02-07T18:11:33Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• A Temporal Linear Network for Time Series Forecasting [0.0]
  本稿では,線形モデルの能力を拡張しつつ,解釈性と計算効率を向上する時間線形ネット(TLN)を提案する。 我々のアプローチはアーキテクチャ全体を通して厳密な線形性を維持するTSMixerの変種である。 TLNの重要な革新は、同等の線形モデルを計算する能力であり、TSMixerのようなより複雑なアーキテクチャでは見つからないレベルの解釈性を提供する。
  論文  参考訳（メタデータ） (2024-10-28T18:51:19Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。