論文の概要: Panoptic Segmentation Forecasting

• arxiv url: http://arxiv.org/abs/2104.03962v1
• Date: Thu, 8 Apr 2021 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 13:02:00.580613
• Title: Panoptic Segmentation Forecasting
• Title（参考訳）: Panoptic Segmentation Forecasting
• Authors: Colin Graber and Grace Tsai and Michael Firman and Gabriel Brostow and Alexander Schwing
• Abstract要約: 我々の目標は、最近の観測結果から近い将来の予測を行うことです。 この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。 そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
• 参考スコア（独自算出の注目度）: 71.75275164959953
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Our goal is to forecast the near future given a set of recent observations. We think this ability to forecast, i.e., to anticipate, is integral for the success of autonomous agents which need not only passively analyze an observation but also must react to it in real-time. Importantly, accurate forecasting hinges upon the chosen scene decomposition. We think that superior forecasting can be achieved by decomposing a dynamic scene into individual 'things' and background 'stuff'. Background 'stuff' largely moves because of camera motion, while foreground 'things' move because of both camera and individual object motion. Following this decomposition, we introduce panoptic segmentation forecasting. Panoptic segmentation forecasting opens up a middle-ground between existing extremes, which either forecast instance trajectories or predict the appearance of future image frames. To address this task we develop a two-component model: one component learns the dynamics of the background stuff by anticipating odometry, the other one anticipates the dynamics of detected things. We establish a leaderboard for this novel task, and validate a state-of-the-art model that outperforms available baselines.
• Abstract（参考訳）: 我々の目標は、最近の観測結果から近い将来の予測を行うことです。 我々は、この予測能力、すなわち予測能力は、観察を受動的に分析するだけでなく、リアルタイムで反応する必要がある自律エージェントの成功に不可欠であると考えている。 重要なことに、選択されたシーン分解に基づいて正確な予測ヒンジが生じる。 動的シーンを個々の「物」と背景の「物」に分解することで、優れた予測が達成できると考えている。 背景の「足」は主にカメラの動きによって動き、前景の「物」はカメラと個々の物体の動きによって動く。 この分解後、panoptic segmentation forecastingを導入する。 パノプティクスのセグメンテーション予測は、インスタンスの軌跡を予測したり、将来の画像フレームの出現を予測する既存の極端間の中間領域を開く。 この課題に対処するために、我々は2成分モデルを開発する。一方のコンポーネントは、オードメトリーを予測して背景物の力学を学習し、もう一方のコンポーネントは検出された物の力学を予測する。 この新しいタスクのリーダーボードを確立し、利用可能なベースラインを上回る最先端のモデルを検証する。

関連論文リスト

• PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
  ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。 多視点設定における全ての点の運動を推定するために神経運動場を利用する。 予測可能な動きを正規化することを提案する。
  論文  参考訳（メタデータ） (2022-09-21T22:32:37Z)
• Unified Recurrence Modeling for Video Action Anticipation [16.240254363118016]
  本稿では,メッセージパッシングフレームワークを用いたビデオアクション予測のための統合再帰モデルを提案する。 提案手法は,EPIC-Kitchenデータセットの大規模化において,従来よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T12:16:44Z)
• Learning Future Object Prediction with a Spatiotemporal Detection Transformer [1.1543275835002982]
  我々は、未来のオブジェクトを直接出力するように検出変換器を訓練する。 既存のトランスフォーマーを2つの方法で拡張し、シーンダイナミクスをキャプチャします。 我々の最終アプローチは、力学を捉えることを学び、100ミリ秒の予測地平線をオラクルと同等に予測する。
  論文  参考訳（メタデータ） (2022-04-21T17:58:36Z)
• Joint Forecasting of Panoptic Segmentations with Difference Attention [72.03470153917189]
  シーン内の全てのオブジェクトを共同で予測する新しいパノプティックセグメンテーション予測モデルについて検討する。 提案したモデルをCityscapesとAIODriveデータセット上で評価する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:32Z)
• Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction [63.62263239934777]
  歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。 本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。 AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-30T10:45:22Z)
• RAIN: Reinforced Hybrid Attention Inference Network for Motion Forecasting [34.54878390622877]
  本稿では,ハイブリットアテンション機構に基づく動的キー情報の選択とランク付けを行う汎用的な動き予測フレームワークを提案する。 このフレームワークは、マルチエージェント軌道予測と人間の動き予測タスクを処理するためにインスタンス化される。 我々は,異なる領域における合成シミュレーションと運動予測ベンチマークの両方について,その枠組みを検証した。
  論文  参考訳（メタデータ） (2021-08-03T06:30:30Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Motion Segmentation using Frequency Domain Transformer Networks [29.998917158604694]
  本稿では,前景と背景を別々にモデル化することで,次のフレームを予測できる新しいエンドツーエンド学習アーキテクチャを提案する。 我々の手法は、ビデオラダーネットワークや予測ゲーテッドピラミドなど、広く使われているビデオ予測手法よりも優れた合成データが得られる。
  論文  参考訳（メタデータ） (2020-04-18T15:05:11Z)
• Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
  視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。 本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。 歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
  論文  参考訳（メタデータ） (2020-02-20T18:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。