論文の概要: Empty Cities: a Dynamic-Object-Invariant Space for Visual SLAM
- arxiv url: http://arxiv.org/abs/2010.07646v1
- Date: Thu, 15 Oct 2020 10:31:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 05:01:57.082185
- Title: Empty Cities: a Dynamic-Object-Invariant Space for Visual SLAM
- Title（参考訳）: Empty Cities: Visual SLAMのための動的オブジェクト不変空間
- Authors: Berta Bescos, Cesar Cadena, Jose Neira
- Abstract要約: 本稿では,シーンの静的な画像を得るためのデータ駆動型アプローチを提案する。
本研究では,都市環境の画像を局所化とマッピングに適したリアルな静的フレームに変換するためのエンドツーエンドのディープラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.693607456009373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present a data-driven approach to obtain the static image of
a scene, eliminating dynamic objects that might have been present at the time
of traversing the scene with a camera. The general objective is to improve
vision-based localization and mapping tasks in dynamic environments, where the
presence (or absence) of different dynamic objects in different moments makes
these tasks less robust. We introduce an end-to-end deep learning framework to
turn images of an urban environment that include dynamic content, such as
vehicles or pedestrians, into realistic static frames suitable for localization
and mapping. This objective faces two main challenges: detecting the dynamic
objects, and inpainting the static occluded back-ground. The first challenge is
addressed by the use of a convolutional network that learns a multi-class
semantic segmentation of the image. The second challenge is approached with a
generative adversarial model that, taking as input the original dynamic image
and the computed dynamic/static binary mask, is capable of generating the final
static image. This framework makes use of two new losses, one based on image
steganalysis techniques, useful to improve the inpainting quality, and another
one based on ORB features, designed to enhance feature matching between real
and hallucinated image regions. To validate our approach, we perform an
extensive evaluation on different tasks that are affected by dynamic entities,
i.e., visual odometry, place recognition and multi-view stereo, with the
hallucinated images. Code has been made available on
https://github.com/bertabescos/EmptyCities_SLAM.
- Abstract（参考訳）: 本稿では,シーンの静的な画像を得るためのデータ駆動型アプローチを提案する。
一般的な目的は、動的環境における視覚に基づくローカライゼーションとマッピングタスクの改善であり、異なる瞬間における異なる動的オブジェクトの存在(または欠如)により、これらのタスクはより堅牢になる。
本研究では,車や歩行者などの動的コンテンツを含む都市環境の画像を,ローカライズやマッピングに適した現実的な静的フレームに変換する,エンドツーエンドのディープラーニングフレームワークを提案する。
この目標は、動的オブジェクトの検出と、静的にオクルードされたバックグラウンドの塗り込みという、2つの大きな課題に直面している。
最初の課題は、画像のマルチクラスのセマンティックセグメンテーションを学ぶ畳み込みネットワークを使用することで解決される。
第2の課題は、元のダイナミックイメージと計算された動的/静的なバイナリマスクを入力として、最終的な静的イメージを生成することができる生成逆モデルによってアプローチされる。
本フレームワークでは, 画像ステガナリシス技術に基づく2つの新たな損失を生かし, 塗装品質の向上に有用なものと, 実画像領域と幻画像領域の特徴マッチングを向上するためのORB特徴に基づくものである。
提案手法を検証するために,視覚オドメトリ,位置認識,多視点ステレオといった動的実体の影響を受ける様々なタスクを幻覚画像を用いて広範囲に評価する。
コードはhttps://github.com/bertabescos/EmptyCities_SLAMで公開されている。
関連論文リスト
- Dynamic in Static: Hybrid Visual Correspondence for Self-Supervised Video Object Segmentation [126.12940972028012]
自己教師型ビデオオブジェクトセグメンテーションのためのフレームワークであるHVCを提案する。
HVCは静的画像から擬似力学信号を抽出し、効率的でスケーラブルなVOSモデルを実現する。
連立静的および動的整合性表現を学習するためのハイブリッド視覚対応損失を提案する。
論文 参考訳（メタデータ） (2024-04-21T02:21:30Z) - ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。
本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。
我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2023-10-31T06:11:23Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from
a Monocular Video [23.905013304668426]
モノクロ映像が与えられたとき、静的環境を回復しながら動的オブジェクトを分割して分離することは、マシンインテリジェンスにおいて広く研究されている問題である。
Decoupled Dynamic Neural Radiance Field (D$2$NeRF) は、モノクロ映像を撮り、3Dシーンの表現を学習する自己教師型アプローチである。
論文 参考訳（メタデータ） (2022-05-31T14:41:24Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳（メタデータ） (2022-03-18T21:13:56Z) - Multi-modal Visual Place Recognition in Dynamics-Invariant Perception
Space [23.43468556831308]
このレターは、動的環境における位置認識を改善するために、意味的および視覚的モダリティのマルチモーダル融合の使用を探求する。
これを実現するには、まず静的セマンティックセグメンテーションを生成するための新しいディープラーニングアーキテクチャを設計します。
次に,空間的ピラミドマッチングモデルを用いて,静的意味セグメンテーションを特徴ベクトルに符号化する。
並行して、静的なイメージは人気のあるbag-of-wordsモデルを使ってエンコードされる。
論文 参考訳（メタデータ） (2021-05-17T13:14:52Z) - DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。
実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。
提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-09-30T18:36:28Z) - Removing Dynamic Objects for Static Scene Reconstruction using Light
Fields [2.286041284499166]
動的環境は視覚的同時ローカライゼーションとマッピング(SLAM)アルゴリズムに課題をもたらす。
光電場は、空間の1つの点から現れる光線の束を捉え、それらを再焦点を合わせることで、ダイナミックな物体を観察することができる。
動的オブジェクトの存在下で静的な背景のイメージを再集中的に合成する手法を提案する。
論文 参考訳（メタデータ） (2020-03-24T19:05:17Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳（メタデータ） (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。