論文の概要: Radiance Field Learners As UAV First-Person Viewers

• arxiv url: http://arxiv.org/abs/2408.05533v1
• Date: Sat, 10 Aug 2024 12:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 18:31:52.246646
• Title: Radiance Field Learners As UAV First-Person Viewers
• Title（参考訳）: UAVファーストパーソンビューアーとしてのラジアンスフィールド学習者
• Authors: Liqi Yan, Qifan Wang, Junhan Zhao, Qiang Guan, Zheng Tang, Jianhui Zhang, Dongfang Liu,
• Abstract要約: 第一パーソンビュー(FPV)は無人航空機(UAV)の軌道に革命をもたらす大きな可能性を秘めている 従来のNeNeRF(Neural Radiance Field)手法は、粒度ごとに単一点をサンプリングするといった課題に直面している。 FPV-NeRFを導入し、これらの課題に3つの重要な面を通して対処する。
• 参考スコア（独自算出の注目度）: 36.59524833437512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: First-Person-View (FPV) holds immense potential for revolutionizing the trajectory of Unmanned Aerial Vehicles (UAVs), offering an exhilarating avenue for navigating complex building structures. Yet, traditional Neural Radiance Field (NeRF) methods face challenges such as sampling single points per iteration and requiring an extensive array of views for supervision. UAV videos exacerbate these issues with limited viewpoints and significant spatial scale variations, resulting in inadequate detail rendering across diverse scales. In response, we introduce FPV-NeRF, addressing these challenges through three key facets: (1) Temporal consistency. Leveraging spatio-temporal continuity ensures seamless coherence between frames; (2) Global structure. Incorporating various global features during point sampling preserves space integrity; (3) Local granularity. Employing a comprehensive framework and multi-resolution supervision for multi-scale scene feature representation tackles the intricacies of UAV video spatial scales. Additionally, due to the scarcity of publicly available FPV videos, we introduce an innovative view synthesis method using NeRF to generate FPV perspectives from UAV footage, enhancing spatial perception for drones. Our novel dataset spans diverse trajectories, from outdoor to indoor environments, in the UAV domain, differing significantly from traditional NeRF scenarios. Through extensive experiments encompassing both interior and exterior building structures, FPV-NeRF demonstrates a superior understanding of the UAV flying space, outperforming state-of-the-art methods in our curated UAV dataset. Explore our project page for further insights: https://fpv-nerf.github.io/.
• Abstract（参考訳）: 第一パーソンビュー(FPV)は、無人航空機(UAV)の軌道に革命をもたらす大きな可能性を秘めている。 しかし、従来のNeural Radiance Field(NeRF)メソッドは、イテレーション毎に単一ポイントをサンプリングしたり、監視のために広範囲のビューを必要とするといった課題に直面している。 UAVビデオは、これらの問題を限られた視点と大きな空間スケールのバリエーションで悪化させ、その結果、様々なスケールにわたる詳細なレンダリングが不十分になった。 対応として,FPV-NeRFを導入し,これらの課題に3つの重要な側面を通して対処する。 時空間連続性を活用することで、フレーム間のシームレスなコヒーレンスが保証される; (2)グローバル構造。 点サンプリング中に様々なグローバルな特徴を取り入れることで空間の整合性が保たれる;(3)局所的な粒度。 マルチスケールシーン特徴表現のための包括的フレームワークとマルチレゾリューションによる監視は、UAVビデオ空間スケールの複雑さに対処する。 さらに,公開されているFPVビデオが不足しているため,UAV映像からFPV視点を生成するためにNeRFを用いた革新的なビュー合成手法を導入し,ドローンの空間的知覚を高める。 我々の新しいデータセットは、UAVドメインの屋外から屋内までの様々な軌道にまたがっており、従来のNeRFのシナリオと大きく異なる。 FPV-NeRFは、内部構造と外部構造の両方を包含する広範囲な実験を通じて、UAV飛行空間の優れた理解を示し、我々のキュレートされたUAVデータセットにおける最先端の手法よりも優れています。 さらなる洞察を得るために、プロジェクトページを探索してください。

関連論文リスト

• On-policy Actor-Critic Reinforcement Learning for Multi-UAV Exploration [0.7373617024876724]
  無人航空機(UAV)は、精密農業、捜索救助、リモートセンシングなど、様々な分野で人気が高まっている。 本研究は,複数のUAVを用いて2次元の関心領域を探索するために,政治強化学習(RL)とPPO(Pximal Policy Optimization)を活用することで,この問題に対処することを目的とする。 提案手法は、深層畳み込みニューラルネットワーク(CNN)と長短期記憶(LSTM)を用いて、UAVと既にカバーされている領域を特定することを含む。
  論文  参考訳（メタデータ） (2024-09-17T10:36:46Z)
• Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering [10.340739248752516]
  複雑な空中シーンを高精度でレンダリングするためのAerial-NeRFを提案する。 当社のモデルでは,複数の競合に比べて4倍以上の高速レンダリングを実現しています。 2つのパブリックな大規模空中データセットに対して、最先端の新たな結果が得られた。
  論文  参考訳（メタデータ） (2024-05-10T02:57:02Z)
• Multiview Aerial Visual Recognition (MAVREC): Can Multi-view Improve Aerial Visual Perception? [57.77643186237265]
  我々は、異なる視点から同期シーンを記録するビデオデータセットであるMultiview Aerial Visual RECgnition(MAVREC)を提示する。 MAVRECは約2.5時間、業界標準の2.7K解像度ビデオシーケンス、0.5万フレーム以上のフレーム、11万の注釈付きバウンディングボックスで構成されている。 これにより、MAVRECは地上および空中ビューのデータセットとして最大であり、ドローンベースのデータセットの中では4番目に大きい。
  論文  参考訳（メタデータ） (2023-12-07T18:59:14Z)
• F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories [100.37377892779654]
  本稿では,F2-NeRF(Fast-Free-NeRF)と呼ばれるグリッドベースの新しいNeRFについて述べる。 F2-NeRFは任意の入力カメラ軌道を可能にし、訓練に数分しかかからない。
  論文  参考訳（メタデータ） (2023-03-28T13:09:44Z)
• Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
  本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。 3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。 実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-15T17:58:10Z)
• Beyond the Field-of-View: Enhancing Scene Visibility and Perception with Clip-Recurrent Transformer [28.326852785609788]
  FlowLensアーキテクチャは、光学フローを明示的に採用し、特徴伝達のための新しいクリップリカレントトランスフォーマーを暗黙的に組み込んでいる。 本稿では,自律走行車における視野拡大を目的としたオンライン映像インペインティングの概念を提案する。 オフラインおよびオンラインビデオのインペイントを含む実験とユーザスタディ、さらにはFo-Vの知覚タスクは、Flowsが最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2022-11-21T09:34:07Z)
• Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
  FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。 標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-05-27T05:42:16Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• Aerial-PASS: Panoramic Annular Scene Segmentation in Drone Videos [15.244418294614857]
  小型、軽量、および360度の環状FoVの特性を有するパノラマ環状レンズ(PAL)を備えたUAVシステムを設計します。 軽量パノラマアニュラセマンティクスセグメンテーションニューラルネットワークモデルは、高精度かつリアルタイムなシーン解析を実現するために設計されている。 総合的な実験により,設計したシステムはパノラマシーン解析において満足できる性能を示す。
  論文  参考訳（メタデータ） (2021-05-15T12:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。