論文の概要: FLODCAST: Flow and Depth Forecasting via Multimodal Recurrent
Architectures
- arxiv url: http://arxiv.org/abs/2310.20593v1
- Date: Tue, 31 Oct 2023 16:30:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 14:17:56.314112
- Title: FLODCAST: Flow and Depth Forecasting via Multimodal Recurrent
Architectures
- Title(参考訳): FLODCAST:マルチモーダルリカレントアーキテクチャによるフローと深さ予測
- Authors: Andrea Ciamarra, Federico Becattini, Lorenzo Seidenari, Alberto Del
Bimbo
- Abstract要約: 本研究では,両モードを同時に予測するフローおよび深さ予測モデルを提案する。
提案したモデルをトレーニングし、将来いくつかのタイムステップの予測を行う。
セグメンテーション予測の下流タスクの利点を報告し、フローベースのマスクウォーピングフレームワークに予測を注入する。
- 参考スコア(独自算出の注目度): 31.879514593973195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forecasting motion and spatial positions of objects is of fundamental
importance, especially in safety-critical settings such as autonomous driving.
In this work, we address the issue by forecasting two different modalities that
carry complementary information, namely optical flow and depth. To this end we
propose FLODCAST a flow and depth forecasting model that leverages a multitask
recurrent architecture, trained to jointly forecast both modalities at once. We
stress the importance of training using flows and depth maps together,
demonstrating that both tasks improve when the model is informed of the other
modality. We train the proposed model to also perform predictions for several
timesteps in the future. This provides better supervision and leads to more
precise predictions, retaining the capability of the model to yield outputs
autoregressively for any future time horizon. We test our model on the
challenging Cityscapes dataset, obtaining state of the art results for both
flow and depth forecasting. Thanks to the high quality of the generated flows,
we also report benefits on the downstream task of segmentation forecasting,
injecting our predictions in a flow-based mask-warping framework.
- Abstract(参考訳): 物体の運動と空間的位置の予測は、特に自律運転のような安全クリティカルな環境では、基本的に重要である。
本研究では,光学的流れと奥行きという相補的情報を含む2つの異なるモダリティを予測し,この問題に対処する。
この目的のために,FLODCASTはマルチタスクの繰り返しアーキテクチャを利用して,両方のモーダルを同時に予測するフローおよび深さ予測モデルを提案する。
フローと深さマップを併用したトレーニングの重要性を強調し,モデルが他のモダリティを知らされると,両方のタスクが改善されることを示す。
提案モデルをトレーニングし,今後,いくつかの時間ステップの予測を行う。
これにより、より正確な予測が可能になり、将来の時間軸に対して自己回帰的にアウトプットを産出するモデルの能力が保たれる。
筆者らは,Cityscapesの挑戦的なデータセットを用いて,フローおよび深さ予測の両方のアート結果の状態を検証した。
また, 生成したフローの高品質化により, セグメンテーション予測の下流タスクに対する利点を報告し, フローベースのマスクウォーピングフレームワークに予測を注入する。
関連論文リスト
- Generative Pretrained Hierarchical Transformer for Time Series
Forecasting [4.012001172505646]
本稿ではGPHTと呼ばれる予測のための新しい生成事前学習型階層型トランスフォーマアーキテクチャを提案する。
一方、我々は、様々なデータシナリオから様々なデータセットから構成される、モデルを事前訓練するための混合データセットの構築を提唱する。
一方、GPHTはチャネルに依存しない仮定の下で自己回帰予測手法を採用し、出力系列における時間的依存関係を効果的にモデル化する。
論文 参考訳(メタデータ) (2024-02-26T11:54:54Z) - Implicit Occupancy Flow Fields for Perception and Prediction in
Self-Driving [68.95178518732965]
自動運転車(SDV)は、周囲を認識でき、他の交通参加者の将来の行動を予測できなければならない。
既存の作業は、検出されたオブジェクトの軌跡が続くオブジェクト検出を実行するか、シーン全体の密度の高い占有とフローグリッドを予測するかのいずれかである。
これは、認識と将来の予測に対する統一されたアプローチを動機付け、単一のニューラルネットワークで時間とともに占有とフローを暗黙的に表現します。
論文 参考訳(メタデータ) (2023-08-02T23:39:24Z) - ENTL: Embodied Navigation Trajectory Learner [37.43079415330256]
エンボディナビゲーションのための長いシーケンス表現を抽出する手法を提案する。
我々は,現在の行動に則った将来の状態のベクトル量子化予測を用いてモデルを訓練する。
提案手法の重要な特徴は、モデルが明示的な報酬信号なしで事前訓練されることである。
論文 参考訳(メタデータ) (2023-04-05T17:58:33Z) - Forecasting Future Instance Segmentation with Learned Optical Flow and
Warping [31.879514593973195]
本稿では,将来的なセマンティックセグメンテーションを予測するための光フローの利用について検討する。
Cityscapesデータセットの結果は、光フロー法の有効性を実証している。
論文 参考訳(メタデータ) (2022-11-15T11:01:12Z) - VectorFlow: Combining Images and Vectors for Traffic Occupancy and Flow
Prediction [18.277777620073685]
本稿では, 正確な占有率と流量予測を実現するために, 新規な占有流量予測器を提案する。
我々のモデルは,オープンデータセットの占有率とフロー予測チャレンジで3位にランクされ,閉鎖された占有率とフロー予測タスクにおいて最高のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-09T03:49:04Z) - Predicting Future Occupancy Grids in Dynamic Environment with
Spatio-Temporal Learning [63.25627328308978]
本稿では,将来の占有予測を生成するための時間的予測ネットワークパイプラインを提案する。
現在のSOTAと比較して、我々の手法は3秒の長い水平線での占有を予測している。
我々は、さらなる研究を支援するために、nulisに基づくグリッド占有データセットを公開します。
論文 参考訳(メタデータ) (2022-05-06T13:45:32Z) - Bootstrap Motion Forecasting With Self-Consistent Constraints [52.88100002373369]
自己整合性制約を用いた動き予測をブートストラップする新しい枠組みを提案する。
運動予測タスクは、過去の空間的・時間的情報を組み込むことで、車両の将来の軌跡を予測することを目的としている。
提案手法は,既存手法の予測性能を常に向上することを示す。
論文 参考訳(メタデータ) (2022-04-12T14:59:48Z) - Panoptic Segmentation Forecasting [71.75275164959953]
我々の目標は、最近の観測結果から近い将来の予測を行うことです。
この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。
そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
論文 参考訳(メタデータ) (2021-04-08T17:59:16Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Deep multi-stations weather forecasting: explainable recurrent
convolutional neural networks [4.213427823201119]
モデルに自己注意を加えることで、全体の予測性能が向上することを示す。
本稿では,ヨーロッパ18都市の日次収集データから天気予報を行うため,異なる2つのディープラーニングアーキテクチャを比較した。
論文 参考訳(メタデータ) (2020-09-23T16:22:25Z) - The Importance of Prior Knowledge in Precise Multimodal Prediction [71.74884391209955]
道路にはよく定義された地形、地形、交通規則がある。
本稿では,構造的事前を損失関数として組み込むことを提案する。
実世界の自動運転データセットにおけるアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-06-04T03:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。