論文の概要: PathFinder: Attention-Driven Dynamic Non-Line-of-Sight Tracking with a Mobile Robot
- arxiv url: http://arxiv.org/abs/2404.05024v1
- Date: Sun, 7 Apr 2024 17:31:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 16:12:42.939690
- Title: PathFinder: Attention-Driven Dynamic Non-Line-of-Sight Tracking with a Mobile Robot
- Title（参考訳）: PathFinder: 移動ロボットによる注意駆動型動的非視線追跡
- Authors: Shenbagaraj Kannapiran, Sreenithy Chandran, Suren Jayasuriya, Spring Berman,
- Abstract要約: 注目型ニューラルネットワークを用いてLOS(Line-of-sight)ビデオにおける動的逐次フレームのシーケンスを処理する新しい手法を提案する。
我々は,映像撮影のためのドローンによる現場撮影のアプローチを検証し,ダイナミックキャプチャ環境での低コストなNLOSイメージングを実証した。
- 参考スコア（独自算出の注目度）: 3.387892563308912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of non-line-of-sight (NLOS) imaging is growing due to its many potential applications, including rescue operations and pedestrian detection by self-driving cars. However, implementing NLOS imaging on a moving camera remains an open area of research. Existing NLOS imaging methods rely on time-resolved detectors and laser configurations that require precise optical alignment, making it difficult to deploy them in dynamic environments. This work proposes a data-driven approach to NLOS imaging, PathFinder, that can be used with a standard RGB camera mounted on a small, power-constrained mobile robot, such as an aerial drone. Our experimental pipeline is designed to accurately estimate the 2D trajectory of a person who moves in a Manhattan-world environment while remaining hidden from the camera's field-of-view. We introduce a novel approach to process a sequence of dynamic successive frames in a line-of-sight (LOS) video using an attention-based neural network that performs inference in real-time. The method also includes a preprocessing selection metric that analyzes images from a moving camera which contain multiple vertical planar surfaces, such as walls and building facades, and extracts planes that return maximum NLOS information. We validate the approach on in-the-wild scenes using a drone for video capture, thus demonstrating low-cost NLOS imaging in dynamic capture environments.
- Abstract（参考訳）: 非視線画像(NLOS)の研究は、救助活動や自動運転車による歩行者検出など、多くの潜在的な応用により、増加している。
しかし、移動カメラにNLOSイメージングを実装することは、まだ研究の領域である。
既存のNLOS撮像法は時間分解検出器とレーザー構成に依存しており、正確な光学的アライメントを必要とするため、動的環境への展開が困難である。
この研究は、NLOSイメージングのためのデータ駆動型アプローチであるPathFinderを提案し、ドローンのような小型で電力に制約のある移動ロボットに搭載された標準のRGBカメラで使用できる。
我々の実験パイプラインは、マンハッタンの世界で動いている人の2次元軌跡を正確に推定し、カメラの視野から隠れたままにしておくように設計されている。
本稿では,リアルタイムに推論を行うアテンションベースニューラルネットワークを用いて,LOS(Line-of-sight)ビデオ中の動的逐次フレームのシーケンスを処理する新しいアプローチを提案する。
また、壁や建物ファサードなどの複数の垂直平面面を含む移動カメラから画像を分析し、最大NLOS情報を返す平面を抽出する前処理選択指標を含む。
我々は,映像撮影のためのドローンによる現場撮影のアプローチを検証し,ダイナミックキャプチャ環境での低コストなNLOSイメージングを実証した。
関連論文リスト
- Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳（メタデータ） (2023-04-27T23:03:52Z) - Propagate And Calibrate: Real-time Passive Non-line-of-sight Tracking [84.38335117043907]
本研究では,リレー壁のみを観察することで,見えない部屋を歩いている人を追跡する純粋受動的手法を提案する。
本研究では,リレー壁の映像の非知覚的変化を発掘するため,時間的局所的な動きの伝達に欠かせない特徴として差分フレームを導入する。
提案手法を評価するため,最初の動的受動NLOS追跡データセットであるNLOS-Trackを構築し,公開する。
論文 参考訳（メタデータ） (2023-03-21T12:18:57Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - People Tracking in Panoramic Video for Guiding Robots [2.092922495279074]
ガイドロボットは、おそらく未知の環境の特定の場所への移動を効果的に行うことを目的としている。
この操作の間、ロボットは、付随する人物を検出し、追跡し、彼女/彼の姿を見失おうとはしない。
360deg Field of View (FoV)は、あらゆるフレームオブジェクトがセンサーから外されたり、遠く離れていなければ、FoVを離れることができないことを保証します。
我々は、視線カメラ用に設計された標準的な人検出・追跡パイプラインであるパノラマビデオに効果的に適応できる一連の手法を提案する。
論文 参考訳（メタデータ） (2022-06-06T16:44:38Z) - Cross-Camera Trajectories Help Person Retrieval in a Camera Network [124.65912458467643]
既存の手法では、純粋な視覚的マッチングや時間的制約を考慮することが多いが、カメラネットワークの空間情報は無視する。
本稿では,時間的情報と空間的情報を統合したクロスカメラ生成に基づく歩行者検索フレームワークを提案する。
本手法の有効性を検証するため,最初のカメラ横断歩行者軌跡データセットを構築した。
論文 参考訳（メタデータ） (2022-04-27T13:10:48Z) - EagerMOT: 3D Multi-Object Tracking via Sensor Fusion [68.8204255655161]
マルチオブジェクトトラッキング(MOT)により、移動ロボットは周囲の物体を3次元空間と時間で位置づけすることで、良好な動作計画とナビゲーションを行うことができる。
既存の方法は、深度センサー(例えばLiDAR)を使用して3D空間のターゲットを検出し追跡するが、信号の間隔が限られているため、検出範囲は限られている。
我々は,両方のセンサモダリティから利用可能な物体を全て統合し,シーンのダイナミックスを適切に解釈する簡易なトラッキング定式化であるeagermotを提案する。
論文 参考訳（メタデータ） (2021-04-29T22:30:29Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - Batteries, camera, action! Learning a semantic control space for
expressive robot cinematography [15.895161373307378]
我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。
まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。
クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
論文 参考訳（メタデータ） (2020-11-19T21:56:53Z) - Camera-Based Adaptive Trajectory Guidance via Neural Networks [6.2843107854856965]
本稿では,屋内ロボットを動的に操作する視覚的軌跡を,ストリーミング画像データを用いて捉える手法を提案する。
捕獲された軌跡は、2つのニューラルネットワークアーキテクチャを設計、訓練、比較するために使用され、連続した空間上でロボットに追従するラインの加速と操舵のコマンドを予測する。
論文 参考訳（メタデータ） (2020-01-09T20:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。