論文の概要: JustDense: Just using Dense instead of Sequence Mixer for Time Series analysis

• arxiv url: http://arxiv.org/abs/2508.09153v1
• Date: Mon, 04 Aug 2025 15:49:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.558275
• Title: JustDense: Just using Dense instead of Sequence Mixer for Time Series analysis
• Title（参考訳）: JustDense: 時系列分析にSequence Mixerの代わりにDenseを使用する
• Authors: TaekHyun Park, Yongjae Lee, Daesan Park, Dohee Kim, Hyerim Bae,
• Abstract要約: シーケンスモデルのコアメカニズムであるシーケンスとチャネルミキサーは、時系列解析におけるデファクトスタンダードとなっている。 我々は,様々な確立されたTSAモデルの配列ミキサーを高密度層で体系的に置き換える実験的な研究であるJustDenseを提案する。
• 参考スコア（独自算出の注目度）: 27.33441058176338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence and channel mixers, the core mechanism in sequence models, have become the de facto standard in time series analysis (TSA). However, recent studies have questioned the necessity of complex sequence mixers, such as attention mechanisms, demonstrating that simpler architectures can achieve comparable or even superior performance. This suggests that the benefits attributed to complex sequencemixers might instead emerge from other architectural or optimization factors. Based on this observation, we pose a central question: Are common sequence mixers necessary for time-series analysis? Therefore, we propose JustDense, an empirical study that systematically replaces sequence mixers in various well-established TSA models with dense layers. Grounded in the MatrixMixer framework, JustDense treats any sequence mixer as a mixing matrix and replaces it with a dense layer. This substitution isolates the mixing operation, enabling a clear theoretical foundation for understanding its role. Therefore, we conducted extensive experiments on 29 benchmarks covering five representative TSA tasks using seven state-of-the-art TSA models to address our research question. The results show that replacing sequence mixers with dense layers yields comparable or even superior performance. In the cases where dedicated sequence mixers still offer benefits, JustDense challenges the assumption that "deeper and more complex architectures are inherently better" in TSA.
• Abstract（参考訳）: シーケンスモデルのコアメカニズムであるシーケンスとチャネルミキサーは、時系列解析(TSA)におけるデファクトスタンダードとなっている。 しかし、近年の研究では、注意機構のような複雑なシーケンスミキサーの必要性を疑問視し、より単純なアーキテクチャが同等あるいは優れた性能を達成できることを実証している。 これは、複雑なシークエンスミキサーに起因する利点が、他のアーキテクチャや最適化要素から生まれる可能性を示唆している。 この観察に基づいて、我々は中心的な疑問を提起する: 時系列分析に共通する配列ミキサーは必要か? そこで本研究では,様々な確立されたTSAモデルの配列ミキサーを高密度層に体系的に置き換える実験的な研究であるJustDenseを提案する。 JustDenseはMatrixMixerフレームワークで構築されており、任意のシーケンスミキサーを混合マトリックスとして扱い、それを密度の高い層に置き換える。 この置換は混合操作を分離し、その役割を理解するための明確な理論的基盤を可能にする。 そこで,本研究では,現在最先端のTSAモデル7つを用いて,5つのTSAタスクを対象とした29のベンチマーク実験を行った。 その結果, シークエンスミキサーを高密度層に置き換えることで, 同等あるいは優れた性能が得られることがわかった。 専用のシーケンスミキサーがまだメリットを提供する場合、JustDenseはTSAの"より深く複雑なアーキテクチャの方が本質的に優れている"という仮定に挑戦する。

関連論文リスト

• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis [71.8946280170493]
  本稿では,単相混合型正規化手法の強みを生かした汎用な埋め込み空間正規化器であるPowMixを紹介する。 PowMixはマルチモーダルアーキテクチャの融合段階の前に統合され、テキストとテキストを混合するなどのモダル内混合を容易にし、レギュレータとして機能する。
  論文  参考訳（メタデータ） (2023-12-19T17:01:58Z)
• TSMixer: An All-MLP Architecture for Time Series Forecasting [41.178272171720316]
  Time-Series Mixer (TSMixer)は、多層パーセプトロン(MLP)を積み重ねた新しいアーキテクチャである。 一般的な学術ベンチマークでは、シンプルな実装TSMixerは専門的な最先端モデルに匹敵する。 我々は、TSMixerの能力に光を流すための様々な分析を行った。
  論文  参考訳（メタデータ） (2023-03-10T16:41:24Z)
• The Quantum Alternating Operator Ansatz for Satisfiability Problems [0.0]
  我々は,大規模数値シミュレーションにより,量子交互演算子Ansatz(QAOA)の大規模実装における性能を比較検討した。
  論文  参考訳（メタデータ） (2023-01-26T18:19:59Z)
• Taming Sparsely Activated Transformer with Stochastic Experts [76.0711573018493]
  わずかに活性化されたモデル(SAM)は、計算コストを大幅に増加させることなく、非常に大量のパラメータを持つように容易にスケールすることができる。 本稿では,新しいエキスパートベースモデルTHOR(Transformer witH StOchastic ExpeRts)を提案する。 Switch Transformerのような古典的なエキスパートベースのモデルとは異なり、THORの専門家はトレーニングと推論の間、各入力に対してランダムにアクティベートされる。
  論文  参考訳（メタデータ） (2021-10-08T17:15:47Z)
• Thompson Sampling with a Mixture Prior [59.211830005673896]
  混合分布から不確実な環境をサンプリングするオンライン意思決定問題において,トンプソンサンプリング(TS)について検討した。 我々は,TSの後悔を先行して解析する,新しい一般的な手法を開発した。
  論文  参考訳（メタデータ） (2021-06-10T09:21:07Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。