論文の概要: Pulse-Driven Neural Architecture: Learnable Oscillatory Dynamics for Robust Continuous-Time Sequence Processing
- arxiv url: http://arxiv.org/abs/2603.00153v1
- Date: Wed, 25 Feb 2026 15:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.063505
- Title: Pulse-Driven Neural Architecture: Learnable Oscillatory Dynamics for Robust Continuous-Time Sequence Processing
- Title（参考訳）: パルス駆動型ニューラルネットワーク:ロバスト連続時間系列処理のための学習可能な振動ダイナミクス
- Authors: Paras Sharma,
- Abstract要約: 本稿では,連続時間リカレントネットワークの拡張手法であるPDNAを紹介する。
学習可能な周波数と状態依存位相で構造化された発振を生成するパルスモジュールを追加する。
また、隠された状態に繰り返し自己アテンションを適用するセルフアテンションモジュールも追加されている。
- 参考スコア（独自算出の注目度）: 0.24656892597046132
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce PDNA (Pulse-Driven Neural Architecture), a method for augmenting continuous-time recurrent networks with learnable oscillatory dynamics that maintain internal state evolution independently of external input. Built on Closed-form Continuous-time (CfC) networks, PDNA adds two components: (1) a pulse module that generates structured oscillations $A \cdot \sin(ωt + \varphi(h))$ with learnable frequencies and state-dependent phase, and (2) a self-attend module that applies recurrent self-attention to the hidden state. Through a controlled ablation study on sequential MNIST (sMNIST) with five random seeds, we evaluate gap robustness -- the ability to maintain performance when portions of the input sequence are removed at test time. Our key finding is that structured oscillatory dynamics significantly improve robustness to input interruptions: the self-attend variant achieves a statistically significant 2.78 percentage point multi-gap advantage over baseline ($p = 0.041$), while the pulse variant shows a 4.62 pp advantage with large effect size (Cohen's $d = 0.87$). A noise control (random perturbation of equal magnitude) provides no benefit, confirming that the advantage is structural rather than merely dynamic. These results provide evidence that continuous-time models can benefit from biologically-inspired internal oscillatory mechanisms for temporal robustness.
- Abstract（参考訳）: PDNA(Pulse-Driven Neural Architecture)は、内部状態の進化を外部入力とは無関係に維持する、学習可能な振動ダイナミクスを持つ連続時間リカレントネットワークの拡張手法である。
閉形式連続時間(CfC)ネットワーク上に構築されたPDNAは、(1)構造化振動を生成するパルスモジュール$A \cdot \sin(ωt + \varphi(h))$と、(2)隠れた状態に繰り返し自己アテンションを適用する自己アテンションモジュールである。
5つのランダムシードを持つシーケンシャルMNIST(sMNIST)の制御的アブレーション研究を通じて、入力シーケンスの一部がテスト時に削除された場合のパフォーマンスを維持できるギャップロバスト性を評価する。
我々の重要な発見は、構造振動ダイナミクスが入力割り込みに対する堅牢性を大幅に向上させることである: 自己依存型は、ベースライン(p = 0.041$)よりも統計的に有意な2.78ポイントのマルチギャップの利点を達成し、パルス変種は大きな効果サイズ(コーエンの$d = 0.87$)で4.62ppの利点を示す。
雑音制御(ランダムな等等等等度摂動)は利益を与えず、利点は単に動的ではなく構造的であることを確認する。
これらの結果は、連続時間モデルが生物学的にインスパイアされた内部振動機構の時間的堅牢性から恩恵を受けることを示す。
関連論文リスト
- FoSS: Modeling Long Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier State Space Integration [21.39395366378851]
本稿では,周波数領域推論と線形時間列モデリングを融合した二分岐フレームワークFoSSを提案する。
Argoverse 1とArgoverse 2ベンチマークの実験では、FoSSが最先端の精度を実現し、22.5%、パラメータが40%以上削減された。
論文 参考訳（メタデータ） (2026-03-01T21:38:59Z) - Knob: A Physics-Inspired Gating Interface for Interpretable and Controllable Neural Dynamics [7.965536008626047]
Knobは、ディープラーニングと古典的な制御理論を結びつけるフレームワークである。
我々のフレームワークは、慣れ親しんだ物理アナログを通して「安定性」と「感度」をチューニングできる。
論文 参考訳（メタデータ） (2026-02-26T07:25:22Z) - ChronoSpike: An Adaptive Spiking Graph Neural Network for Dynamic Graphs [10.05203937088835]
スパイキングニューラルネットワークは、イベント駆動の効率を提供するが、シーケンシャルな伝播、バイナリ情報損失、グローバルなコンテキストを欠く局所的な集約によって制限される。
適応的なスパイクグラフニューラルネットワークであるChronoSpikeを提案する。このニューラルネットワークは、学習可能なLIFニューロンを膜間ダイナミクスと統合し、連続的な特徴に対する多頭部の空間的アグリゲーションと、トランスフォーマーの時間エンコーダである。
大規模な3つのベンチマークでは、ChronoSpikeは12の最先端のベースラインを$2.0%$マクロF1と$2.4%$マイクロF1で上回り、また、反復メソッドよりも3-10倍速いトレーニングを達成している。
論文 参考訳（メタデータ） (2026-02-01T09:50:21Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳（メタデータ） (2025-07-15T17:57:48Z) - Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。
DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。
我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
論文 参考訳（メタデータ） (2024-11-26T17:28:10Z) - Amortized Control of Continuous State Space Feynman-Kac Model for Irregular Time Series [14.400596021890863]
医療、気候、経済などの現実世界のデータセットは、しばしば不規則な時系列として収集される。
本稿では,連続状態空間モデル (ACSSM) を時系列の連続的動的モデリングに用いるためのアモータイズ制御を提案する。
論文 参考訳（メタデータ） (2024-10-08T01:27:46Z) - Input correlations impede suppression of chaos and learning in balanced
rate networks [58.720142291102135]
ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。
平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
論文 参考訳（メタデータ） (2022-01-24T19:20:49Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳（メタデータ） (2021-10-26T17:35:21Z) - Value Iteration in Continuous Actions, States and Time [99.00362538261972]
連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。
非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。
物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
論文 参考訳（メタデータ） (2021-05-10T21:40:56Z) - Role of stochastic noise and generalization error in the time
propagation of neural-network quantum states [0.0]
ニューラルネットワーク量子状態(NQS)は、平衡外力学をシミュレートするのに適切な変分アンサッツであることが示されている。
安定かつ正確な時間伝搬は、十分に規則化された変動力学のレギュレーションで達成できることを示す。
論文 参考訳（メタデータ） (2021-05-03T17:55:09Z) - Active Tuning [0.5801044612920815]
ニューラルネットワーク(RNN)の内部ダイナミクスを高速に最適化するための新しいパラダイムであるActive Tuningを紹介する。
従来のシーケンス間マッピング方式とは対照的に、Active Tuningは入力ストリームからRNNのリカレントニューラルアクティビティを分離する。
いくつかの時系列予測ベンチマークにおいてアクティブチューニングの有効性を示す。
論文 参考訳（メタデータ） (2020-10-02T20:21:58Z) - Feedback-induced instabilities and dynamics in the Jaynes-Cummings model [62.997667081978825]
時間遅延コヒーレントフィードバックを受けるJaynes-Cummingsモデルのコヒーレンスと定常状態特性について検討する。
導入されたフィードバックは、システムの動的応答と定常量子特性を質的に修正する。
論文 参考訳（メタデータ） (2020-06-20T10:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。