論文の概要: FLODCAST: Flow and Depth Forecasting via Multimodal Recurrent Architectures

• arxiv url: http://arxiv.org/abs/2310.20593v1
• Date: Tue, 31 Oct 2023 16:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 14:17:56.314112
• Title: FLODCAST: Flow and Depth Forecasting via Multimodal Recurrent Architectures
• Title（参考訳）: FLODCAST:マルチモーダルリカレントアーキテクチャによるフローと深さ予測
• Authors: Andrea Ciamarra, Federico Becattini, Lorenzo Seidenari, Alberto Del Bimbo
• Abstract要約: 本研究では,両モードを同時に予測するフローおよび深さ予測モデルを提案する。 提案したモデルをトレーニングし、将来いくつかのタイムステップの予測を行う。 セグメンテーション予測の下流タスクの利点を報告し、フローベースのマスクウォーピングフレームワークに予測を注入する。
• 参考スコア（独自算出の注目度）: 31.879514593973195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting motion and spatial positions of objects is of fundamental importance, especially in safety-critical settings such as autonomous driving. In this work, we address the issue by forecasting two different modalities that carry complementary information, namely optical flow and depth. To this end we propose FLODCAST a flow and depth forecasting model that leverages a multitask recurrent architecture, trained to jointly forecast both modalities at once. We stress the importance of training using flows and depth maps together, demonstrating that both tasks improve when the model is informed of the other modality. We train the proposed model to also perform predictions for several timesteps in the future. This provides better supervision and leads to more precise predictions, retaining the capability of the model to yield outputs autoregressively for any future time horizon. We test our model on the challenging Cityscapes dataset, obtaining state of the art results for both flow and depth forecasting. Thanks to the high quality of the generated flows, we also report benefits on the downstream task of segmentation forecasting, injecting our predictions in a flow-based mask-warping framework.
• Abstract（参考訳）: 物体の運動と空間的位置の予測は、特に自律運転のような安全クリティカルな環境では、基本的に重要である。 本研究では,光学的流れと奥行きという相補的情報を含む2つの異なるモダリティを予測し,この問題に対処する。 この目的のために,FLODCASTはマルチタスクの繰り返しアーキテクチャを利用して,両方のモーダルを同時に予測するフローおよび深さ予測モデルを提案する。 フローと深さマップを併用したトレーニングの重要性を強調し,モデルが他のモダリティを知らされると,両方のタスクが改善されることを示す。 提案モデルをトレーニングし,今後,いくつかの時間ステップの予測を行う。 これにより、より正確な予測が可能になり、将来の時間軸に対して自己回帰的にアウトプットを産出するモデルの能力が保たれる。 筆者らは,Cityscapesの挑戦的なデータセットを用いて,フローおよび深さ予測の両方のアート結果の状態を検証した。 また, 生成したフローの高品質化により, セグメンテーション予測の下流タスクに対する利点を報告し, フローベースのマスクウォーピングフレームワークに予測を注入する。

関連論文リスト

• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• AdaOcc: Adaptive Forward View Transformation and Flow Modeling for 3D Occupancy and Flow Prediction [56.72301849123049]
  CVPR 2024 における nuScenes Open-Occ データセットチャレンジにおいて,視覚中心の3次元活動とフロー予測トラックのソリューションを提案する。 我々の革新的なアプローチは、適応的なフォワード・ビュー・トランスフォーメーションとフロー・モデリングを取り入れることで、3次元の占有率とフロー予測を向上させる2段階のフレームワークである。 提案手法は回帰と分類を組み合わせることで,様々な場面におけるスケールの変動に対処し,予測フローを利用して将来のフレームに現行のボクセル特徴をワープする。
  論文  参考訳（メタデータ） (2024-07-01T16:32:15Z)
• Deep Vision-Based Framework for Coastal Flood Prediction Under Climate Change Impacts and Shoreline Adaptations [0.3413711585591077]
  低データ環境下での高忠実度ディープビジョンに基づく沿岸洪水予測モデルを訓練するための体系的枠組みを提案する。 また,沿岸の洪水予測問題に特化して,CNNの深部構造を導入している。 開発したDLモデルの性能は、一般に採用されている測地回帰法に対して検証される。
  論文  参考訳（メタデータ） (2024-06-06T19:54:34Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• A Multi-Channel Spatial-Temporal Transformer Model for Traffic Flow Forecasting [0.0]
  交通流予測のための多チャンネル時空間変圧器モデルを提案する。 トラフィックデータの異なるチャネルから結果を抽出することにより、予測の精度を向上させる。 6つの実世界のデータセットの実験結果から,時間モデルにマルチチャネル機構を導入することにより,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-10T06:37:07Z)
• Implicit Occupancy Flow Fields for Perception and Prediction in Self-Driving [68.95178518732965]
  自動運転車(SDV)は、周囲を認識でき、他の交通参加者の将来の行動を予測できなければならない。 既存の作業は、検出されたオブジェクトの軌跡が続くオブジェクト検出を実行するか、シーン全体の密度の高い占有とフローグリッドを予測するかのいずれかである。 これは、認識と将来の予測に対する統一されたアプローチを動機付け、単一のニューラルネットワークで時間とともに占有とフローを暗黙的に表現します。
  論文  参考訳（メタデータ） (2023-08-02T23:39:24Z)
• Forecasting Future Instance Segmentation with Learned Optical Flow and Warping [31.879514593973195]
  本稿では,将来的なセマンティックセグメンテーションを予測するための光フローの利用について検討する。 Cityscapesデータセットの結果は、光フロー法の有効性を実証している。
  論文  参考訳（メタデータ） (2022-11-15T11:01:12Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)
• Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks [4.213427823201119]
  モデルに自己注意を加えることで、全体の予測性能が向上することを示す。 本稿では,ヨーロッパ18都市の日次収集データから天気予報を行うため,異なる2つのディープラーニングアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2020-09-23T16:22:25Z)
• The Importance of Prior Knowledge in Precise Multimodal Prediction [71.74884391209955]
  道路にはよく定義された地形、地形、交通規則がある。 本稿では,構造的事前を損失関数として組み込むことを提案する。 実世界の自動運転データセットにおけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-04T03:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。