論文の概要: MaskFlow: Object-Aware Motion Estimation
- arxiv url: http://arxiv.org/abs/2311.12476v1
- Date: Tue, 21 Nov 2023 09:37:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 01:19:00.552348
- Title: MaskFlow: Object-Aware Motion Estimation
- Title(参考訳): MaskFlow: オブジェクト認識モーション推定
- Authors: Aria Ahmadi, David R. Walton, Tim Atherton, Cagatay Dikici
- Abstract要約: 本研究では,高精度な運動場を推定できる新しい動き推定手法MaskFlowを提案する。
他のディープニューラルネットワーク(DNN)ベースのモーション推定手法で使用される低レベルの機能に加えて、MaskFlowはオブジェクトレベルの機能やセグメンテーションから引き出される。
- 参考スコア(独自算出の注目度): 0.45646200630189254
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a novel motion estimation method, MaskFlow, that is capable of
estimating accurate motion fields, even in very challenging cases with small
objects, large displacements and drastic appearance changes. In addition to
lower-level features, that are used in other Deep Neural Network (DNN)-based
motion estimation methods, MaskFlow draws from object-level features and
segmentations. These features and segmentations are used to approximate the
objects' translation motion field. We propose a novel and effective way of
incorporating the incomplete translation motion field into a subsequent motion
estimation network for refinement and completion. We also produced a new
challenging synthetic dataset with motion field ground truth, and also provide
extra ground truth for the object-instance matchings and corresponding
segmentation masks. We demonstrate that MaskFlow outperforms state of the art
methods when evaluated on our new challenging dataset, whilst still producing
comparable results on the popular FlyingThings3D benchmark dataset.
- Abstract(参考訳): 本研究では,小さな物体や大きな変位,急激な外観変化を伴っても,正確な運動場を推定できる新しい動き推定手法MaskFlowを提案する。
他のディープニューラルネットワーク(DNN)ベースのモーション推定手法で使用される低レベルの機能に加えて、MaskFlowはオブジェクトレベルの機能やセグメンテーションから引き出される。
これらの特徴とセグメンテーションは、オブジェクトの翻訳運動場を近似するために使用される。
そこで本研究では,不完全翻訳運動場をその後の動作推定ネットワークに組み込んで改良・完成する手法を提案する。
また,動き場グラウンド真理を用いた新しい挑戦的合成データセットを作成し,オブジェクト・インスタンスマッチングと対応するセグメンテーションマスクに余分な基礎的真理を提供する。
MaskFlowは、私たちの新しい挑戦的なデータセットで評価した場合、一般的なFlyingThings3Dベンチマークデータセットで同等の結果を生成しながら、アートメソッドの状態を上回ります。
関連論文リスト
- Appearance-based Refinement for Object-Centric Motion Segmentation [95.80420062679104]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では, 正確な流量予測マスクを模範として, 簡単な選択機構を用いる。
パフォーマンスは、DAVIS、YouTubeVOS、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳(メタデータ) (2023-12-18T18:59:51Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳(メタデータ) (2023-06-07T17:57:45Z) - AnyFlow: Arbitrary Scale Optical Flow with Implicit Neural
Representation [17.501820140334328]
我々は,様々な解像度の画像から正確な流れを推定するロバストなネットワークであるAnyFlowを紹介した。
我々は,KITTIデータセット上でのクロスデータセット一般化の最先端性能を確立する。
論文 参考訳(メタデータ) (2023-03-29T07:03:51Z) - Self-Improving SLAM in Dynamic Environments: Learning When to Mask [5.4310785842119795]
本研究では,マスキングオブジェクトが動的シナリオにおける性能を改善する際に学習する新しいSLAMを提案する。
我々の手法は、動く物体を自身で隠蔽することを学ぶ。
提案手法は,TUM RGB-Dデータセット上の技術状況に到達し,KITTIおよびConsInvデータセット上で性能を向上する。
論文 参考訳(メタデータ) (2022-10-15T18:06:06Z) - Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value
Functions [65.84090965167535]
本稿では,ニューラルネットワークによってパラメータ化される暗黙的値関数として,オブジェクト点群と相対的タスク軌跡の両方を符号化する新しいオブジェクト表現であるNeural Motion Fieldsを提案する。
このオブジェクト中心表現は、SE(3)空間上の連続分布をモデル化し、サンプリングベースのMPCを利用して、この値関数を最適化することで、反応的に把握することができる。
論文 参考訳(メタデータ) (2022-06-29T18:47:05Z) - ImpDet: Exploring Implicit Fields for 3D Object Detection [74.63774221984725]
我々は、境界ボックス回帰を暗黙の関数として見る新しい視点を導入する。
これは、Implicit DetectionまたはImpDetと呼ばれる提案されたフレームワークにつながります。
我々のImpDetは、異なる局所的な3次元空間の点に特定の値を割り当て、高品質な境界を生成することができる。
論文 参考訳(メタデータ) (2022-03-31T17:52:12Z) - DetFlowTrack: 3D Multi-object Tracking based on Simultaneous
Optimization of Object Detection and Scene Flow Estimation [23.305159598648924]
オブジェクト検出とシーンフロー推定の同時最適化に基づく3次元MOTフレームワークを提案する。
特に回転を伴う動きの場合のより正確なシーンフローラベルについて,ボックス変換に基づくシーンフローグラウンド真理計算法を提案する。
KITTI MOTデータセットの実験結果は、回転を伴う極運動下での最先端とロバスト性に対して競合する結果を示した。
論文 参考訳(メタデータ) (2022-03-04T07:06:47Z) - Weakly Supervised Instance Segmentation using Motion Information via
Optical Flow [3.0763099528432263]
画像と光の流れから抽出した外観と運動の特徴を利用する2ストリームエンコーダを提案する。
提案手法は,最先端手法の平均精度を3.1倍に向上することを示した。
論文 参考訳(メタデータ) (2022-02-25T22:41:54Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z) - DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。
実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。
提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-09-30T18:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。