論文の概要: Multi-Rate Mixture of Experts for Accelerating Liquid Neural Network Training

• arxiv url: http://arxiv.org/abs/2606.12240v1
• Date: Wed, 10 Jun 2026 15:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.539919
• Title: Multi-Rate Mixture of Experts for Accelerating Liquid Neural Network Training
• Title（参考訳）: 高速な液体ニューラルネットワークトレーニングのためのエキスパートの多段階混合
• Authors: Shilong Zong, Almuatazbellah Boker, Hoda Eldardiry,
• Abstract要約: 液体ニューラルネットワーク(LNN)は、連続時間力学によってこれらの制限に対処する。 液状ニューラルネットワーク上に構築したMR-MoE(Multi-Rate Mixture-of-Experts)フレームワークを提案する。 提案したアーキテクチャでは、複数のLNNベースの専門家が異なる時間スケールで活動し、モデルがゆっくりと進化する時間的傾向から高速に変化するダイナミクスを明示的に分離することができる。
• 参考スコア（独自算出の注目度）: 5.248012610915348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multivariate time-series data often exhibit complex temporal dependencies, irregular sampling, and heterogeneous dynamics across multiple time scales, making accurate sequence modeling particularly challenging. Traditional recurrent neural networks (RNNs), such as Long Short-Term Memory (LSTM) networks, operate in discrete time and may struggle to effectively capture continuous and irregular temporal behaviors. Liquid Neural Networks (LNNs) address some of these limitations through continuous-time dynamics, but standard LNN architectures typically rely on a single dynamical system, limiting their ability to model heterogeneous temporal patterns. To address these challenges, we propose a Multi-Rate Mixture-of-Experts (MR-MoE) framework built on top of Liquid Neural Networks. In the proposed architecture, multiple LNN-based experts operate at distinct time scales, enabling the model to explicitly separate fast-changing dynamics from slow-evolving temporal trends. A gating network further enables adaptive expert specialization based on input conditions. In addition, we incorporate both feature-level and temporal attention mechanisms to improve robustness, interpretability, and long-range dependency modeling. Feature-level attention suppresses noisy or irrelevant variables, while temporal attention selectively focuses on informative historical states. We evaluate the proposed framework on a complex multivariate time-series prediction task and compare it against strong baselines, including LSTM, monolithic LNN, and standard MoE models. Experimental results demonstrate that the proposed MR-MoE framework consistently achieves improved AUROC and AUPRC performance while maintaining favorable computational efficiency. These results highlight the effectiveness of combining continuous-time dynamics, multi-scale expert decomposition, and adaptive attention mechanisms for time-series modeling.
• Abstract（参考訳）: 多変量時系列データはしばしば、複雑な時間的依存関係、不規則サンプリング、および複数の時間スケールにわたる不均一なダイナミクスを示し、正確なシーケンスモデリングが特に困難である。 LSTM(Long Short-Term Memory)ネットワークのような従来のリカレントニューラルネットワーク(RNN)は、離散的に動作し、連続的かつ不規則な時間的振る舞いを効果的に捉えるのに苦労する可能性がある。 液体ニューラルネットワーク(LNN)は、連続時間ダイナミクスを通じてこれらの制限に対処するが、標準的なLNNアーキテクチャは通常、1つの動的システムに依存し、異種時間パターンをモデル化する能力を制限する。 これらの課題に対処するため,Liquid Neural Networks 上に構築した Multi-Rate Mixture-of-Experts (MR-MoE) フレームワークを提案する。 提案したアーキテクチャでは、複数のLNNベースの専門家が異なる時間スケールで活動し、モデルがゆっくりと進化する時間的傾向から高速に変化するダイナミクスを明示的に分離することができる。 さらに、ゲーティングネットワークは、入力条件に基づく適応専門家専門化を可能にする。 さらに,ロバスト性,解釈可能性,長期依存性モデリングを改善するために,特徴レベルと時間的注意機構を組み込んだ。 特徴レベルの注意はノイズや無関係な変数を抑圧し、時間的注意は情報的歴史的状態に選択的に焦点をあてる。 複雑な多変量時系列予測タスクにおけるフレームワークの評価を行い,LSTM,モノリシックLNN,標準MoEモデルなど,強力なベースラインと比較した。 実験により,提案したMR-MoEフレームワークは,良好な計算効率を維持しつつ,改良されたAUROCとAUPRCの性能を一貫して達成することを示した。 これらの結果は,時系列モデリングにおける連続時間力学,マルチスケールの専門家分解,適応的注意機構の併用の有効性を浮き彫りにした。

関連論文リスト

• Multi-Timescale Conductance Spiking Networks: A Sparse, Gradient-Trainable Framework with Rich Firing Dynamics for Enhanced Temporal Processing [0.20240089219927163]
  スパイクニューラルネットワーク(SNN)は、時間的にリッチなタスクに対して、低消費電力のイベント駆動型計算を約束する。 電流電圧曲線の形状からニューラルダイナミクスが出現する勾配学習可能なフレームワークであるマルチタイムコンダクタンススパイクネットワークを導入する。 我々は、これらの微分可能力学の離散時間定式化を導出し、代理次数近似を使わずに時間を通して直接の逆伝播を可能にする。
  論文  参考訳（メタデータ） (2026-05-12T09:22:45Z)
• NeuroSSM: Multiscale Differential State-Space Modeling for Context-Aware fMRI Analysis [4.753690672619091]
  本稿では,fMRI時系列における生BOLD信号のエンドツーエンド解析のための選択的状態空間アーキテクチャであるNeuroSSMを提案する。 NeuroSSMは2つの相補的な設計コンポーネントを通じて上記の制限に対処する。 臨床および非臨床データセットの実験は、NeuroSSMが最先端のfMRI分析法と競合する性能と効率を達成することを示した。
  論文  参考訳（メタデータ） (2026-01-03T16:35:45Z)
• MSTN: Fast and Efficient Multivariate Time Series Model [0.0]
  階層型マルチスケールおよびシーケンスモデリングの原理に基づいて構築された,新しいディープラーニングアーキテクチャであるMulti-scale Temporal Network(MSTN)を紹介する。 MSTNは、局所パターンのための階層的な特徴ピラミッドを構築する畳み込みエンコーダと、長距離時間依存のためのシーケンスモデリングコンポーネントを統合する。 時系列長軸予測, 計算, 分類, 一般化可能性調査における広範囲な評価は, MSTNがSOTA(コントラスト・オブ・ザ・アーティファクト)のパフォーマンスを達成することを示すものである。
  論文  参考訳（メタデータ） (2025-11-25T18:09:42Z)
• TS-LIF: A Temporal Segment Spiking Neuron Network for Time Series Forecasting [27.91825785119938]
  Spiking Neural Networks(SNN)は、時系列予測のためのデータ処理に、有望で生物学的にインスパイアされたアプローチを提供する。 本稿では,デュアルコンパートメントアーキテクチャを特徴とするテンポラルリーキーセグメント統合とファイアモデルを提案する。 実験の結果,TS-LIFは時系列予測において従来のSNNよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-07T03:06:21Z)
• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
  本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。 提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Dynamic Gaussian Mixture based Deep Generative Model For Robust Forecasting on Sparse Multivariate Time Series [43.86737761236125]
  本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。 新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。 帰納的解析を可能にするために構造化推論ネットワークも設計されている。
  論文  参考訳（メタデータ） (2021-03-03T04:10:07Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。