論文の概要: Neural Fields in Robotics: A Survey

• arxiv url: http://arxiv.org/abs/2410.20220v1
• Date: Sat, 26 Oct 2024 16:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:01.803432
• Title: Neural Fields in Robotics: A Survey
• Title（参考訳）: ロボットのニューラルフィールド:サーベイ
• Authors: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay,
• Abstract要約: Neural Fieldsは、コンピュータビジョンとロボット工学における3Dシーン表現の変革的アプローチとして登場した。 この調査は、ロボット工学における彼らの応用を探求し、知覚、計画、制御を強化する可能性を強調している。 それらのコンパクトさ、メモリ効率、微分可能性、基礎モデルと生成モデルとのシームレスな統合は、リアルタイムアプリケーションに理想的です。
• 参考スコア（独自算出の注目度）: 39.93473561102639
• License:
• Abstract: Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io
• Abstract（参考訳）: ニューラルフィールドはコンピュータビジョンとロボット工学における3Dシーン表現の変換的アプローチとして登場し、提案された2Dデータから幾何学や3Dセマンティクス、ダイナミックスの正確な推論を可能にする。 微分可能なレンダリングを活用することで、ニューラルフィールドは、高忠実度3D再構成を可能にする連続的な暗黙的および明示的なニューラル表現、マルチモーダルセンサーデータの統合、新しい視点の生成を含む。 この調査は、ロボット工学における彼らの応用を探求し、知覚、計画、制御を強化する可能性を強調している。 そのコンパクトさ、メモリ効率、差別化性、基礎モデルと生成モデルとのシームレスな統合は、ロボットの適応性と意思決定を改善するリアルタイムアプリケーションに理想的です。 本稿では,ロボット工学におけるニューラルフィールドの網羅的なレビューを行い,様々な分野にまたがる応用を分類し,200以上の論文に基づいてその強みと限界を評価する。 まず、Occupancy Networks、Signed Distance Fields、Neural Radiance Fields、Gaussian Splattingの4つの主要なNeural Fieldsフレームワークを紹介する。 第二に、Neural Fieldsのアプリケーションを5つの主要なロボティクス領域、すなわち、推定、操作、ナビゲーション、物理、自律運転に適用し、重要な作業を強調し、テイクアウトとオープンな課題について議論する。 最後に,ロボット工学におけるニューラルフィールドの現在の限界について概説し,今後の研究に向けて有望な方向性を提案する。 プロジェクトページ:https://robonerf.github.io

関連論文リスト

• NeRF in Robotics: A Survey [95.11502610414803]
  近年の神経暗黙表現の出現は、コンピュータビジョンとロボティクス分野に急進的な革新をもたらした。 NeRFは、単純化された数学的モデル、コンパクトな環境記憶、連続的なシーン表現などの大きな表現上の利点から、この傾向を引き起こしている。
  論文  参考訳（メタデータ） (2024-05-02T14:38:18Z)
• Object Registration in Neural Fields [6.361537379901403]
  本稿では、最近のReg-NFニューラルフィールド登録法とその使用事例をロボット工学の文脈で拡張分析する。 本稿では、シーン内における既知の物体の6-DoFポーズを決定するシナリオを、シーンとオブジェクトのニューラルフィールドモデルを用いて示す。 本研究では、不完全なモデル化シーン内のオブジェクトをよりよく表現し、オブジェクトのニューラルフィールドモデルをシーンに置換することで新しいシーンを生成する方法を示す。
  論文  参考訳（メタデータ） (2024-04-29T02:33:40Z)
• Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
  近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。 我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。 3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
  論文  参考訳（メタデータ） (2023-12-09T09:12:03Z)
• NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
  そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。 我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。 オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
  論文  参考訳（メタデータ） (2023-04-29T15:41:15Z)
• ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation [73.63212031963843]
  本研究では,多様な環境における複数のデータセットから異なるロボットプラットフォームを体験するための新しいフレームワークであるExAugを提案する。 トレーニングされたポリシーは、屋内と屋外の障害物のある3つの異なるカメラを備えた2つの新しいロボットプラットフォームで評価される。
  論文  参考訳（メタデータ） (2022-10-14T01:32:15Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• Neural Fields in Visual Computing and Beyond [54.950885364735804]
  機械学習の最近の進歩は、座標ベースニューラルネットワークを用いた視覚コンピューティング問題の解決への関心が高まっている。 ニューラルネットワークは、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定に成功している。 本報告は、文脈、数学的基礎、および、ニューラルネットワークに関する文献の広範なレビューを提供する。
  論文  参考訳（メタデータ） (2021-11-22T18:57:51Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。