論文の概要: AutoNeRF: Training Implicit Scene Representations with Autonomous Agents

• arxiv url: http://arxiv.org/abs/2304.11241v2
• Date: Fri, 22 Dec 2023 13:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 18:41:24.192043
• Title: AutoNeRF: Training Implicit Scene Representations with Autonomous Agents
• Title（参考訳）: AutoNeRF: 自律エージェントによる暗黙のシーン表現のトレーニング
• Authors: Pierre Marza, Laetitia Matignon, Olivier Simonin, Dhruv Batra, Christian Wolf, Devendra Singh Chaplot
• Abstract要約: ニューラルレージアンス場(NeRF)のような入射表現は、新規なビュー合成に非常に有効であることが示されている。 本稿では,自律的エンボディエージェントを用いたNeRF訓練に必要なデータ収集手法であるAutoNeRFを提案する。
• 参考スコア（独自算出の注目度）: 42.90747351247687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit representations such as Neural Radiance Fields (NeRF) have been shown to be very effective at novel view synthesis. However, these models typically require manual and careful human data collection for training. In this paper, we present AutoNeRF, a method to collect data required to train NeRFs using autonomous embodied agents. Our method allows an agent to explore an unseen environment efficiently and use the experience to build an implicit map representation autonomously. We compare the impact of different exploration strategies including handcrafted frontier-based exploration, end-to-end and modular approaches composed of trained high-level planners and classical low-level path followers. We train these models with different reward functions tailored to this problem and evaluate the quality of the learned representations on four different downstream tasks: classical viewpoint rendering, map reconstruction, planning, and pose refinement. Empirical results show that NeRFs can be trained on actively collected data using just a single episode of experience in an unseen environment, and can be used for several downstream robotic tasks, and that modular trained exploration models outperform other classical and end-to-end baselines. Finally, we show that AutoNeRF can reconstruct large-scale scenes, and is thus a useful tool to perform scene-specific adaptation as the produced 3D environment models can be loaded into a simulator to fine-tune a policy of interest.
• Abstract（参考訳）: ニューラルレージアンス場(NeRF)のような入射表現は、新規なビュー合成に非常に有効であることが示されている。 しかし、これらのモデルは通常、トレーニングのために手動で注意深い人的データ収集を必要とする。 本稿では,自律型エンボディエージェントを用いたNeRF訓練に必要なデータ収集手法であるAutoNeRFを提案する。 本手法では,エージェントが未知の環境を効率的に探索し,その経験を用いて暗黙の地図表現を自律的に構築できる。 我々は,手作りのフロンティア探索や,訓練された高レベルプランナーと古典的な低レベルパスフォロワーからなるエンドツーエンドおよびモジュラーアプローチなど,さまざまな探索戦略の影響を比較した。 我々は,この問題に適応した異なる報酬関数を持つこれらのモデルを訓練し,古典的視点レンダリング,地図再構成,計画,ポーズリファインメントという4つの下流タスクにおける学習表現の品質を評価する。 実験結果から,nerfsは未発見の環境において1回の体験のみを使用して,アクティブに収集されたデータに対してトレーニングすることが可能であり,いくつかの下流ロボットタスクに使用できること,モジュール型学習された探索モデルは,他の古典的およびエンドツーエンドのベースラインよりも優れることが示された。 最後に,AutoNeRFは大規模シーンの再構成が可能であり,生成した3D環境モデルをシミュレータにロードし,興味のあるポリシーを微調整できるため,シーン固有の適応を行う上で有用なツールであることを示す。

関連論文リスト

• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• Learning from the Giants: A Practical Approach to Underwater Depth and Surface Normals Estimation [3.0516727053033392]
  本稿では,単眼深度と表面正規化推定(MDSNE)のための新しいディープラーニングモデルを提案する。 これは特に、CNNとTransformerを統合するハイブリッドアーキテクチャを使用して、水中環境向けに調整されている。 我々のモデルはパラメータを90%削減し、トレーニングコストを80%削減し、リソース制約されたデバイス上でリアルタイムな3D認識を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T22:41:12Z)
• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields [24.99410489251996]
  ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。 NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。 本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
  論文  参考訳（メタデータ） (2024-01-29T13:23:34Z)
• NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
  そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。 我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。 オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
  論文  参考訳（メタデータ） (2023-04-29T15:41:15Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• Generating Synthetic Training Data for Deep Learning-Based UAV Trajectory Prediction [11.241614693184323]
  本稿では,無人航空機車(UAV)の合成軌道データを生成する手法を提案する。 実世界のUAV追跡データセットにおいて,RNNに基づく予測モデルが従来の参照モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T13:08:31Z)
• Learning to Move with Affordance Maps [57.198806691838364]
  物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。 従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。 学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
  論文  参考訳（メタデータ） (2020-01-08T04:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。