論文の概要: SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2301.11520v2
• Date: Wed, 10 May 2023 09:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 16:58:34.447393
• Title: SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning
• Title（参考訳）: SNeRL:強化学習のための意味認識型ニューラルネットワーク
• Authors: Dongseok Shim, Seungjae Lee, H. Jin Kim
• Abstract要約: 強化学習のための意味認識型ニューラルラジアンス場(SNeRL)を提案する。 我々は,畳み込みエンコーダを用いた意味認識型ニューラルラジアンスフィールド(NeRF)を共同で最適化し,多視点画像から3次元認識型ニューラル暗黙表現を学習する。 我々は,NeRFにおけるRGB放射場と平行な3次元意味と蒸留特徴場を導入し,強化学習のための意味と対象中心表現を学習する。
• 参考スコア（独自算出の注目度）: 32.05614282399206
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As previous representations for reinforcement learning cannot effectively incorporate a human-intuitive understanding of the 3D environment, they usually suffer from sub-optimal performances. In this paper, we present Semantic-aware Neural Radiance Fields for Reinforcement Learning (SNeRL), which jointly optimizes semantic-aware neural radiance fields (NeRF) with a convolutional encoder to learn 3D-aware neural implicit representation from multi-view images. We introduce 3D semantic and distilled feature fields in parallel to the RGB radiance fields in NeRF to learn semantic and object-centric representation for reinforcement learning. SNeRL outperforms not only previous pixel-based representations but also recent 3D-aware representations both in model-free and model-based reinforcement learning.
• Abstract（参考訳）: 従来の強化学習の表現は、3D環境に対する人間の直感的な理解を効果的に組み込むことができないため、それらは通常、準最適性能に悩まされる。 本稿では,意味認識型ニューラルラディアンスフィールド(NeRF)と畳み込みエンコーダを併用して,多視点画像から3次元認識型ニューラルラディアンスフィールドを学習するセマンティック認識型ニューラルラディアンスフィールド(SNeRL)を提案する。 我々は,NeRFにおけるRGB放射場と平行な3次元意味と蒸留特徴場を導入し,強化学習のための意味と対象中心表現を学習する。 SNeRLは、以前のピクセルベース表現だけでなく、モデルフリーとモデルベース強化学習の両方において、最近の3D対応表現よりも優れている。

関連論文リスト

• Magnituder Layers for Implicit Neural Representations in 3D [23.135779936528333]
  我々は、"magnituder"と呼ばれる新しいニューラルネットワーク層を導入する。 標準フィードフォワード層にマグニチュードを組み込むことで、推論速度と適応性を向上する。 我々のアプローチは、訓練された暗黙的ニューラル表現モデルにおいてゼロショットのパフォーマンス向上を可能にする。
  論文  参考訳（メタデータ） (2024-10-13T08:06:41Z)
• SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization [7.769607568805291]
  そこで本研究では,数枚のカラー画像から3次元形状とビュー依存の外観を復元する新しい手法を提案する。 本手法は,信号距離関数 (Signed Distance Function, SDF) と放射場 (Radiance Field) の形式で暗黙的なニューラル表現を学習する。 我々の貢献の鍵は、SDFフィールドがレベルセットの近くでできるだけ直線的であることを奨励する、暗黙の神経形状関数学習戦略である。
  論文  参考訳（メタデータ） (2024-07-19T12:36:36Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations [92.88108411154255]
  本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。 本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-07T23:24:09Z)
• AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
  我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。 我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。 歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
  論文  参考訳（メタデータ） (2022-04-28T11:50:18Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。