論文の概要: DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation Using Monocular Camera and Sparse LiDAR

• arxiv url: http://arxiv.org/abs/2008.08136v1
• Date: Tue, 18 Aug 2020 19:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:21:33.222688
• Title: DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation Using Monocular Camera and Sparse LiDAR
• Title（参考訳）: DeepLiDARFlow: 単眼カメラとスパースLiDARを用いたシーンフロー推定のためのディープラーニングアーキテクチャ
• Authors: Rishav, Ramy Battrawy, Ren\'e Schuster, Oliver Wasenm\"uller and Didier Stricker
• Abstract要約: シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。 ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。 DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
• 参考スコア（独自算出の注目度）: 10.303618438296981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene flow is the dense 3D reconstruction of motion and geometry of a scene. Most state-of-the-art methods use a pair of stereo images as input for full scene reconstruction. These methods depend a lot on the quality of the RGB images and perform poorly in regions with reflective objects, shadows, ill-conditioned light environment and so on. LiDAR measurements are much less sensitive to the aforementioned conditions but LiDAR features are in general unsuitable for matching tasks due to their sparse nature. Hence, using both LiDAR and RGB can potentially overcome the individual disadvantages of each sensor by mutual improvement and yield robust features which can improve the matching process. In this paper, we present DeepLiDARFlow, a novel deep learning architecture which fuses high level RGB and LiDAR features at multiple scales in a monocular setup to predict dense scene flow. Its performance is much better in the critical regions where image-only and LiDAR-only methods are inaccurate. We verify our DeepLiDARFlow using the established data sets KITTI and FlyingThings3D and we show strong robustness compared to several state-of-the-art methods which used other input modalities. The code of our paper is available at https://github.com/dfki-av/DeepLiDARFlow.
• Abstract（参考訳）: シーンフローは、シーンの動きと幾何学の密集した3次元再構成である。 ほとんどの最先端の手法では、ステレオ画像を入力としてフルシーン再構築に使っている。 これらの手法はRGB画像の品質に大きく依存しており、反射物体や影、不調な光環境などの領域では性能が悪い。 LiDAR測定は上記の条件に対してはるかに感度が低いが、LiDARの特徴は、その粗い性質のため、一般には整合性に不適である。 したがって、LiDARとRGBの両方を使用することで、相互改善によって各センサの個々の欠点を克服し、マッチングプロセスを改善する堅牢な特徴を得ることができる。 本稿では,高レベルなrgbとlidar機能を複数のスケールで融合して,濃密なシーンフローを予測する,新しいディープラーニングアーキテクチャであるdeeplidarflowを提案する。 画像のみとLiDARのみのメソッドが不正確である臨界領域では、パフォーマンスがはるかに向上する。 我々は,確立されたデータセットKITTIとFlyingThings3Dを用いてDeepLiDARFlowを検証する。 私たちの論文のコードはhttps://github.com/dfki-av/deeplidarflowで閲覧できます。

関連論文リスト

• LiOn-XA: Unsupervised Domain Adaptation via LiDAR-Only Cross-Modal Adversarial Training [61.26381389532653]
  LiOn-XAは、LiDAR-Only Cross-Modal (X)学習と3D LiDARポイントクラウドセマンティックセマンティックセグメンテーションのためのAdversarial Trainingを組み合わせた、教師なしドメイン適応(UDA)アプローチである。 3つの現実的適応シナリオに関する実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-10-21T09:50:17Z)
• LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
  LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。 都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。 我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
  論文  参考訳（メタデータ） (2024-10-07T15:07:56Z)
• UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation [51.443788294845845]
  我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。 スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。 個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
  論文  参考訳（メタデータ） (2023-11-02T17:57:03Z)
• MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features [11.28654979274464]
  自動運転アプリケーションでは、LiDARデータは3Dにおける距離に関する正確な情報を提供するが、カメラデータのセマンティック・リッチネスは欠如している。 我々は、LiDARとカメラデータを融合する新しい自己教師方式を、自動運転アプリケーションに導入する。
  論文  参考訳（メタデータ） (2023-06-12T13:01:33Z)
• Photometric LiDAR and RGB-D Bundle Adjustment [3.3948742816399697]
  本稿では,RGB-D と LiDAR の両方を併用した新しいバンドリング調整(BA)測光戦略を提案する。 さらに,RGB-D と LiDAR を併用した統合手法の利点を示す。
  論文  参考訳（メタデータ） (2023-03-29T17:35:23Z)
• BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework [20.842800465250775]
  現在の手法では、LiDARセンサーの点雲をクエリとして利用し、画像空間の機能を活用している。 我々は、カメラストリームがLiDARデータの入力に依存しないBEVFusionと呼ばれる驚くほど単純で斬新な融合フレームワークを提案する。 通常のトレーニング環境下では,我々のフレームワークが最先端の手法を超越していることを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-27T06:58:30Z)
• LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds [58.402752909624716]
  既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。 我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。 我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
  論文  参考訳（メタデータ） (2022-03-28T12:52:45Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• RGB-D Local Implicit Function for Depth Completion of Transparent Objects [43.238923881620494]
  ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。 標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。 ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T17:00:04Z)
• Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
  本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。 オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。 この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
  論文  参考訳（メタデータ） (2021-01-13T16:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。