論文の概要: MANTA: Diffusion Mamba for Efficient and Effective Stochastic Long-Term Dense Anticipation
- arxiv url: http://arxiv.org/abs/2501.08837v1
- Date: Wed, 15 Jan 2025 14:46:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-16 15:52:21.670969
- Title: MANTA: Diffusion Mamba for Efficient and Effective Stochastic Long-Term Dense Anticipation
- Title(参考訳): manta: 効率的な確率的長期予測のための拡散マンバ
- Authors: Olga Zatsarynna, Emad Bahrami, Yazan Abu Farha, Gianpiero Francesca, Juergen Gall,
- Abstract要約: 本稿では,長期にわたる密集予測の問題に対処する。
本課題の目的は,提供された映像観測に基づいて,行動とその継続時間を予測することである。
この不確実性に対処するために、モデルはいくつかの将来のアクションシーケンスを予測するように設計されている。
- 参考スコア(独自算出の注目度): 17.4088244981231
- License:
- Abstract: Our work addresses the problem of stochastic long-term dense anticipation. The goal of this task is to predict actions and their durations several minutes into the future based on provided video observations. Anticipation over extended horizons introduces high uncertainty, as a single observation can lead to multiple plausible future outcomes. To address this uncertainty, stochastic models are designed to predict several potential future action sequences. Recent work has further proposed to incorporate uncertainty modelling for observed frames by simultaneously predicting per-frame past and future actions in a unified manner. While such joint modelling of actions is beneficial, it requires long-range temporal capabilities to connect events across distant past and future time points. However, the previous work struggles to achieve such a long-range understanding due to its limited and/or sparse receptive field. To alleviate this issue, we propose a novel MANTA (MAmba for ANTicipation) network. Our model enables effective long-term temporal modelling even for very long sequences while maintaining linear complexity in sequence length. We demonstrate that our approach achieves state-of-the-art results on three datasets - Breakfast, 50Salads, and Assembly101 - while also significantly improving computational and memory efficiency.
- Abstract(参考訳): 我々の研究は確率的長期密度予測の問題に対処する。
本課題の目的は,提供された映像観測に基づいて,行動の予測と今後数分間の持続時間を予測することである。
拡張された地平線に対する予測は、単一の観測が複数の有望な将来の結果をもたらす可能性があるため、高い不確実性をもたらす。
この不確実性に対処するために、確率モデルは将来のいくつかのアクションシーケンスを予測するように設計されている。
近年の研究では、フレームごとの過去の動作と将来の動作を統一的に予測することで、観測フレームの不確実性モデリングを組み込むことが提案されている。
このようなアクションの合同モデリングは有用であるが、遠くの過去と将来の時間点をまたいでイベントを接続するためには、長期の時間的能力が必要である。
しかし、それまでの作業は、制限された/またはまばらな受容領域のため、このような長い範囲の理解を達成するのに苦労している。
この問題を軽減するために,我々は新しいMANTA(MAmba for ANTicipation)ネットワークを提案する。
本モデルでは, 配列長の線形複雑度を維持しつつ, 非常に長いシーケンスであっても, 効果的な長期時間モデリングが可能となる。
我々は、Breakfast、50Salads、Ambly101という3つのデータセットで最先端の結果を得ると同時に、計算とメモリ効率を大幅に改善する。
関連論文リスト
- Breaking the Context Bottleneck on Long Time Series Forecasting [6.36010639533526]
長期の時系列予測は、経済、エネルギー、輸送における計画と意思決定に不可欠である。
最近の進歩によりこれらのモデルの効率は向上したが、より長いシーケンスを効果的に活用することの難しさは持続している。
長いシーケンスの効率的かつ効率的な処理を実現するために,Logsparse Decomposable Multiscaling (LDM) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-21T10:29:34Z) - TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。
TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2024-10-06T10:41:03Z) - Multiscale Representation Enhanced Temporal Flow Fusion Model for Long-Term Workload Forecasting [19.426131129034115]
本稿では,自己指導型マルチスケール表現学習を利用して,長期および短期のワークロードパターンを抽出する新しいフレームワークを提案する。
長期履歴はマルチスケール表現によって符号化され、短期観測は時流融合によってモデル化される。
論文 参考訳(メタデータ) (2024-07-29T04:42:18Z) - Gated Temporal Diffusion for Stochastic Long-Term Dense Anticipation [17.4088244981231]
長期的な行動予測は、自律運転や人間とロボットの相互作用など、多くのアプリケーションにとって重要な課題となっている。
本稿では,Gated Temporal Diffusion (GTD) ネットワークを提案する。
我々のモデルは、Breakfast、Ambly101、50Saladsの両方の決定論的設定で、最先端の結果を達成する。
論文 参考訳(メタデータ) (2024-07-16T17:48:05Z) - Self-Supervised Contrastive Learning for Long-term Forecasting [41.11757636744812]
長期予測は、時間とメモリの複雑さによる固有の課題を示す。
スライドウィンドウに頼って長いシーケンスを処理している既存の手法は、長期の変動を効果的に捉えるのに苦労している。
コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-03T04:32:34Z) - Performative Time-Series Forecasting [71.18553214204978]
我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。
本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。
新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
論文 参考訳(メタデータ) (2023-10-09T18:34:29Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z) - Finding Islands of Predictability in Action Forecasting [7.215559809521136]
将来のアクションシーケンスは1つの抽象化レベルではなく、変数でより正確にモデル化されていることを示す。
本稿では,ベイズニューラルネットワークと階層的畳み込みセグメンテーションモデルを組み合わせて,将来の行動を正確に予測し,抽象化レベルを最適に選択する手法を提案する。
論文 参考訳(メタデータ) (2022-10-13T21:01:16Z) - Long Term Motion Prediction Using Keyposes [122.22758311506588]
長期的な予測を達成するには、瞬時に人間のポーズを予測する必要があると論じている。
このようなポーズを「キーポス」と呼び、後続のキーポスを線形に補間して近似する複素運動と呼ぶ。
このようなキープレースのシーケンスを学習することで,将来的には最大5秒まで,非常に長期にわたる動作を予測できることが示される。
論文 参考訳(メタデータ) (2020-12-08T20:45:51Z) - From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting [54.273455592965355]
将来の軌道の不確実性は、(a)エージェントに知られているが、モデルに未知な情報源、例えば長期目標や(b)エージェントとモデルの両方に未知な情報源、例えば他のエージェントの意図や既約乱数不確定性などである。
我々は,長期目標における多モータリティと,経路ポイントや経路における多モータリティによるアレタリック不確実性を通じて,てんかん不確かさをモデル化する。
また,この二分法を実証するために,従来の作業よりも1分間,桁長の予測地平線を有する,新しい長期軌跡予測設定を提案する。
論文 参考訳(メタデータ) (2020-12-02T21:01:29Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳(メタデータ) (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。