Fugu-MT 論文翻訳(概要): STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction

論文の概要: STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction

arxiv url: http://arxiv.org/abs/2312.17346v1
Date: Thu, 28 Dec 2023 20:26:23 GMT
ステータス: 処理完了
システム内更新日: 2024-01-02 14:52:08.313725
Title: STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction
Title（参考訳）: STanHop: メモリ拡張時系列予測のためのスパースタンデムホップフィールドモデル
Authors: Dennis Wu, Jerry Yao-Chieh Hu, Weijian Li, Bo-Yu Chen, Han Liu
Abstract要約: 本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
参考スコア（独自算出の注目度）: 13.815793371488613
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present STanHop-Net (Sparse Tandem Hopfield Network) for multivariate time series prediction with memory-enhanced capabilities. At the heart of our approach is STanHop, a novel Hopfield-based neural network block, which sparsely learns and stores both temporal and cross-series representations in a data-dependent fashion. In essence, STanHop sequentially learn temporal representation and cross-series representation using two tandem sparse Hopfield layers. In addition, StanHop incorporates two additional external memory modules: a Plug-and-Play module and a Tune-and-Play module for train-less and task-aware memory-enhancements, respectively. They allow StanHop-Net to swiftly respond to certain sudden events. Methodologically, we construct the StanHop-Net by stacking STanHop blocks in a hierarchical fashion, enabling multi-resolution feature extraction with resolution-specific sparsity. Theoretically, we introduce a sparse extension of the modern Hopfield model (Generalized Sparse Modern Hopfield Model) and show that it endows a tighter memory retrieval error compared to the dense counterpart without sacrificing memory capacity. Empirically, we validate the efficacy of our framework on both synthetic and real-world settings.
Abstract（参考訳）: メモリ強化機能付き多変量時系列予測のためのSTanHop-Net(Sparse Tandem Hopfield Network)を提案する。私たちのアプローチの中心にあるのは、新しいホップフィールドベースのニューラルネットワークブロックであるstanhopです。本質的に、スタンホップは2つのタンデムスパースホップフィールド層を用いて時間表現と直列表現を逐次学習する。さらに、StanHopは2つの外部メモリモジュール、Plug-and-PlayモジュールとTune-and-Playモジュールをそれぞれ組み込んでいる。これにより、StanHop-Netは突然の出来事に素早く対応できる。提案手法では,StanHop-Netを階層的に積み重ねて構築し,高分解能な特徴抽出を実現する。理論的には、現代のホップフィールドモデル(一般化スパース近代ホップフィールドモデル)のスパース拡張を導入し、メモリ容量を犠牲にすることなく高密度のホップフィールドモデルと比較して、より厳密なメモリ検索誤差を生じることを示す。実環境と実環境の両方でフレームワークの有効性を実証的に検証した。

関連論文リスト

Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文参考訳（メタデータ） (2024-05-27T22:15:23Z)
ColorMNet: A Memory-based Deep Spatial-Temporal Feature Propagation Network for Video Colorization [62.751303924391564]
映像のカラー化において,空間時間的特徴を効果的に探索する方法が重要である。我々は,メモリベースの機能伝搬モジュールを開発し,遠方のフレームからの機能との信頼性の高い接続を確立する。空間時間近傍の隣接するフレームから特徴を集約するローカルアテンションモジュールを開発した。
論文参考訳（メタデータ） (2024-04-09T12:23:30Z)
Nonparametric Modern Hopfield Models [12.160725212848137]
深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
論文参考訳（メタデータ） (2024-04-05T05:46:20Z)
BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model [6.888608574535993]
BiSHopは、深層表型学習の2つの大きな課題に対処する。 BiSHopはデュアルコンポーネントのアプローチを採用し、列ワイドと行ワイドの両方のデータを逐次処理する。 We show BiSHop comes over current SOTA method with significantly less HPO run。
論文参考訳（メタデータ） (2024-04-04T23:13:32Z)
Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
論文参考訳（メタデータ） (2024-04-04T23:05:30Z)
Accelerating Hierarchical Associative Memory: A Deep Equilibrium Approach [12.829893293085732]
階層型連想記憶モデルにおいて,メモリ検索を高速化する2つの手法を提案する。まず、より高速で安定した解法を利用できるDeep Equilibrium Modelsとしてキャストする方法を示す。第2に、以前の研究から着想を得た結果、偶数層と奇数層を交互に最適化することで、メモリの検索を2倍近く加速することを示した。
論文参考訳（メタデータ） (2023-11-27T10:02:12Z)
FuTH-Net: Fusing Temporal Relations and Holistic Features for Aerial Video Classification [49.06447472006251]
本稿では,FuTH-Netと呼ばれる新しいディープニューラルネットワークを提案する。本モデルは,ERAとDrone-Actionの2つの航空映像分類データセットを用いて評価し,最先端の成果を得た。
論文参考訳（メタデータ） (2022-09-22T21:15:58Z)
Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文参考訳（メタデータ） (2022-09-01T10:46:09Z)
Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文参考訳（メタデータ） (2022-05-28T04:36:13Z)
Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文参考訳（メタデータ） (2022-01-03T02:32:06Z)
Hopfield Networks is All You Need [8.508381229662907]
連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。さまざまな領域にまたがるホップフィールド層の適用性を示す。
論文参考訳（メタデータ） (2020-07-16T17:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。