Fugu-MT 論文翻訳(概要): Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

論文の概要: Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

arxiv url: http://arxiv.org/abs/2402.10211v1
Date: Thu, 15 Feb 2024 18:59:43 GMT
ステータス: 処理完了
システム内更新日: 2024-02-16 14:14:10.202897
Title: Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling
Title（参考訳）: 連続列列列モデリングのための階層的状態空間モデル
Authors: Raunaq Bhirangi, Chenyu Wang, Venkatesh Pattabiraman, Carmel Majidi, Abhinav Gupta, Tess Hellebrekers, Lerrel Pinto
Abstract要約: 階層的状態空間モデル(HiSS)は概念的にシンプルで,連続的な逐次予測のための新しい手法である。 HiSSスタックは、時間階層を生成するために、互いに上にステートスペースモデルを構造化する。 HiSSは、因果変換器、LSTM、S4、Mambaといった最先端のシーケンスモデルをMSEで少なくとも23%上回っている。
参考スコア（独自算出の注目度）: 33.1446750835764
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.
Abstract（参考訳）: 生の感覚データのシーケンスから推論することは、医療機器からロボットまで、あらゆる分野にまたがるユビキタスな問題である。これらの問題はしばしば、望ましい物理量のシーケンス(例えば力、慣性測定)を予測するために、センサーデータの長いシーケンス(例えば磁力計、ピエゾ抵抗器)を使用する。古典的アプローチは局所線形予測問題に対して強力であるが、現実世界のセンサーを使う場合には不足することが多い。これらのセンサーは一般的に非線形であり、外部変数(例えば振動)に影響され、データ依存ドリフトを示す。多くの問題に対して、地上ラベルを取得するには高価な機器が必要であるため、小さなラベル付きデータセットによって予測タスクが悪化する。本研究では,階層型状態空間モデル(HiSS)を提案する。 HiSSスタックは、時間階層を生成するために、互いに上にステートスペースモデルを構造化する。触覚に基づく状態予測から加速度計による慣性測定に至るまで、現実世界の6つのセンサデータセットにわたって、HiSSは、因果変換器、LSTM、S4、Mambaといった最先端のシーケンスモデルを、MSEで少なくとも23%上回っている。我々の実験は、HiSSがより小さなデータセットへの効率的なスケーリングを示し、既存のデータフィルタリング技術と互換性があることを示唆している。コード、データセット、ビデオはhttps://hiss-csp.github.ioで見ることができる。

関連論文リスト

Spatial-Temporal Bearing Fault Detection Using Graph Attention Networks and LSTM [0.7864304771129751]
本稿では,グラフ注意ネットワーク(GAT)とLong Short-Term Memory(LSTM)ネットワークを組み合わせた新しい手法を提案する。このアプローチは、センサデータ内の空間的および時間的依存関係を捕捉し、軸受故障検出の精度を向上させる。
論文参考訳（メタデータ） (2024-10-15T12:55:57Z)
OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文参考訳（メタデータ） (2024-09-14T07:44:22Z)
Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文参考訳（メタデータ） (2024-02-19T15:57:39Z)
Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
論文参考訳（メタデータ） (2023-10-09T20:32:49Z)
Deep Graph Stream SVDD: Anomaly Detection in Cyber-Physical Systems [17.373668215331737]
本稿では,異常検出のためのディープグラフベクトルデータ記述法(SVDD)を提案する。まず、時間的埋め込みにおけるデータ監視の短絡パターンと長絡パターンの両方を保存するために、トランスフォーマーを使用します。センサタイプに応じてこれらの埋め込みをクラスタリングし、各種センサ間の接続性の変化を推定し、新しい重み付きグラフを構築する。
論文参考訳（メタデータ） (2023-02-24T22:14:39Z)
SECOE: Alleviating Sensors Failure in Machine Learning-Coupled IoT Systems [0.0]
本論文は,センサ障害を同時に緩和するための積極的なアプローチであるSECOEを提案する。 SECOEは、センサー間の相関を利用してアンサンブル内のモデル数を最小化する新しい技術を含んでいる。実験の結果,SECOEはセンサ故障の有無の予測精度を効果的に維持することがわかった。
論文参考訳（メタデータ） (2022-10-05T10:58:39Z)
DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness [78.98998551326812]
従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
論文参考訳（メタデータ） (2022-09-26T21:59:14Z)
Energy networks for state estimation with random sensors using sparse labels [0.0]
本稿では,スパースラベルから学習可能な暗黙の最適化層と物理に基づく損失関数を用いた手法を提案する。この手法に基づいて、空間における離散的および連続的な予測のための2つのモデルを示す。
論文参考訳（メタデータ） (2022-03-12T15:15:38Z)
Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals [10.866594993485226]
本稿では,Deep Convolutional Autoencoding Memory Network (CAE-M) という,ディープラーニングに基づく新しい異常検出アルゴリズムを提案する。我々はまず,最大平均離散値(MMD)を用いたマルチセンサデータの空間依存性を特徴付けるディープ畳み込みオートエンコーダを構築する。そして,線形(自己回帰モデル)と非線形予測(注意を伴う大規模LSTM)からなるメモリネットワークを構築し,時系列データから時間依存性を捉える。
論文参考訳（メタデータ） (2021-07-27T06:48:20Z)
Motion Prediction Using Temporal Inception Module [96.76721173517895]
人間の動作を符号化するTIM(Temporal Inception Module)を提案する。本フレームワークは,異なる入力長に対して異なるカーネルサイズを用いて,畳み込み層を用いて入力埋め込みを生成する。標準的な動き予測ベンチマークデータセットであるHuman3.6MとCMUのモーションキャプチャデータセットの実験結果から,我々の手法は一貫して技術手法の状態を上回ります。
論文参考訳（メタデータ） (2020-10-06T20:26:01Z)
Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
論文参考訳（メタデータ） (2020-07-07T15:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。