論文の概要: MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting
- arxiv url: http://arxiv.org/abs/2610.10759v1
- Date: Wed, 07 Oct 2026 18:23:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.627367
- Title: MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting
- Title(参考訳): MESSENGER: 自己回帰型次フレーム予測によるメモリ拡張シーケンスフロー推定
- Abstract要約: 動的シナリオにおいて、シーンフローは低レベルな3次元運動変位をキャプチャすることができる。
Messengerは、メモリ強化されたシーケンシャルなシーンフローパイプラインである。
Messenger は EPE3D を nuScenes で71.6%減らし、Argoverse 2 で67.7%減らした。
- 参考スコア(独自算出の注目度): 47.30618864601053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow can capture low-level 3D motion displacements in dynamic scenarios. Early pairwise estimators relying on instantaneous two-frame motion lack long-term temporal correlation and also struggle with poor extrapolation ability in future prediction. Although some recent methods attempt to explore multi-frame scene flow estimation in a sequence-to-sequence manner, they typically suffer from heavy computational overhead with increasing input frames and long-horizon prediction degradation due to ineffective motion propagation. To address these problems, we propose a novel memory-enhanced sequential scene flow pipeline, called MESSENGER. To sufficiently mine long-term temporal dependencies naturally within consecutive sequences, a memory buffer is designed by explicitly storing multiple history flow estimates and latent states. For each input frame, the temporally stored flows and states are correlated and retrieved to predict the current initialized flow in a next-frame forecasting manner. Furthermore, we develop an uncertainty-aware reweighting module to filter unreliable retrievals and mitigate accumulated errors. Extensive experiments on nuScenes and Argoverse 2 demonstrate state-of-the-art performance of our MESSENGER, reducing EPE3D by 71.6% on nuScenes and 67.7% on Argoverse 2 in long-horizon future extrapolation. This superiority can be attributed to our designed autoregressive forecasting paradigm, which naturally forces the network to progressively learn the next-frame distribution based on history observations. Code will be released at https://github.com/liujiuming123/Messenger.
- Abstract(参考訳): 動的シナリオにおいて、シーンフローは低レベルな3次元運動変位をキャプチャすることができる。
初期のペアワイズ推定器は、短時間の2フレームの動きに依存するが、長期の時間的相関が欠如しており、将来の予測では外挿能力の低下に悩まされている。
近年,複数フレームのシーンフロー推定をシーケンス・ツー・シーケンスで行おうとする手法がいくつかあるが,入力フレームの増加や非効率な動き伝搬による長軸予測の劣化など,計算上のオーバーヘッドに悩まされることが多い。
これらの問題に対処するために,MESSENGERと呼ばれる新しいメモリ拡張シーンフローパイプラインを提案する。
複数の履歴フロー推定値と潜時状態を明示的に記憶してメモリバッファを設計する。
各入力フレームに対して、時間的に記憶されたフローと状態が相関して検索され、現在の初期化フローを次のフレーム予測方式で予測する。
さらに、信頼できない検索をフィルタリングし、累積誤差を軽減する不確実性を考慮した再重み付けモジュールを開発する。
nuScenes と Argoverse 2 に関する大規模な実験は、我々のMESSENGER の最先端性能を示し、EPE3D を nuScenes で71.6%、Argoverse 2 で67.7% 削減した。
この優位性は、設計した自己回帰予測パラダイムによるもので、ネットワークが履歴観測に基づいて次のフレーム分布を漸進的に学習することを自然に強いる。
コードはhttps://github.com/liujiuming123/Messengerでリリースされる。
関連論文リスト
- SPACE: Sparse Predictive Attractor via Counterfactual Eviction for Streaming Video Memory [26.40942862262398]
本研究では,SPACE(Sparse Predictive Attractor via Counterfactual Eviction)を導入し,代替的エビテーション行動によって引き起こされる将来の表現を予測する。
カウンターファクチュアルユーティリティは将来の有用な代替品を識別し、遅い予測ベース幾何は回避可能なドリフトをいつ修正するかを決定する。
MABS-Benchは、一致した因果ストリームとメモリ予算の下で、将来のタスク満足度、レジスタ内予測安定性、遷移応答性、回復を評価する。
論文 参考訳(メタデータ) (2026-09-26T13:11:20Z) - Robust Dreamer: Deviation-Aware Latent Gaussian Memory for Action-Controlled AR Video Generation [89.70897512515477]
アクション制御された画像対ビデオ生成は、インタラクティブな世界シミュレーションにおいて有望なパラダイムであり、各制御信号が即時視覚応答を誘発する。
長時間の自己回帰的なロールアウトに対する視覚的忠実さと3D一貫性を維持することは依然として難しい。
既存の3D認識手法は、textitLatent--RGB Cyclingからの情報損失と、textiterror-free仮説によって引き起こされるトレーニング-推論ギャップという2つの障害により、破滅的なドリフトに悩まされることが多い。
textbfRobust Dreamerという,メモリ拡張フレームワークについて紹介する。
論文 参考訳(メタデータ) (2026-05-29T05:21:33Z) - SHARP: Short-Window Streaming for Accurate and Robust Prediction in Motion Forecasting [53.74101174559609]
本稿では,進化するシーンに特化して焦点をあてた,ストリーミングベースの新たな動き予測フレームワークを提案する。
本手法は,入ってくる観測ウィンドウを段階的に処理し,インスタンス対応コンテキストストリーミングを利用して潜時エージェント表現の維持と更新を行う。
我々のモデルは,Argoverse 2マルチエージェントベンチマークのストリーミング推論における最先端性能を実現し,遅延を最小限に抑えながら,実世界の展開に適していることを強調した。
論文 参考訳(メタデータ) (2026-03-30T06:47:19Z) - Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation [73.84423888025171]
オートレグレッシブ(AR)ビデオ拡散は,近年,長大なビデオ生成において有望なパラダイムとして浮上している。
時間的劣化が進行しているため, 生成から微小スケールの地平線への延長は依然として困難であることを示す。
本稿では,AR拡散のための時間記憶機構であるRelax Forcingを紹介する。
論文 参考訳(メタデータ) (2026-03-22T18:59:24Z) - OccSTeP: Benchmarking 4D Occupancy Spatio-Temporal Persistence [19.81329748424203]
我々は4D Occupancy Spatio-Temporal Persistence(OccSTeP)という新しい概念を導入する。
この概念は,(1)反応予測:「何が起こるか」,(2)前向き予測:「特定の将来の行動が与えられたら何が起こるか」という2つの課題に対処することを目的としている。
OccSTeP-WMは,高密度なボクセルベースのシーン状態を維持し,時間とともに段階的に時間的コンテキストを融合するトークンフリー世界モデルである。
論文 参考訳(メタデータ) (2025-12-17T17:29:20Z) - Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。
我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。
我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-02T17:13:16Z) - A Spatio-temporal Transformer for 3D Human Motion Prediction [39.31212055504893]
本研究では,3次元人間の動きの生成モデル作成作業のためのトランスフォーマーに基づくアーキテクチャを提案する。
実験により,これが基礎となる運動力学を効果的に学習し,自己回帰モデルで観測される時間経過に伴う誤差の蓄積を低減することを示した。
論文 参考訳(メタデータ) (2020-04-18T19:49:28Z) - TTPP: Temporal Transformer with Progressive Prediction for Efficient
Action Anticipation [46.28067541184604]
ビデオアクション予測は、観察されたフレームから将来のアクションカテゴリを予測することを目的としている。
現在の最先端のアプローチは主に、履歴情報を隠された状態にエンコードするために、リカレントニューラルネットワークを利用する。
本稿では,プログレッシブ予測フレームワークを用いた簡易かつ効率的な時間変換器を提案する。
論文 参考訳(メタデータ) (2020-03-07T07:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。