論文の概要: NARF22: Neural Articulated Radiance Fields for Configuration-Aware
Rendering
- arxiv url: http://arxiv.org/abs/2210.01166v1
- Date: Mon, 3 Oct 2022 18:34:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 15:09:37.489262
- Title: NARF22: Neural Articulated Radiance Fields for Configuration-Aware
Rendering
- Title(参考訳): NARF22: 構成認識レンダリングのためのニューラルArticulated Radiance Fields
- Authors: Stanley Lewis, Jana Pavlasek, Odest Chadwicke Jenkins
- Abstract要約: 人工物は、ロボットの知覚と操作にユニークな課題をもたらす。
自由度の増加は、ローカライゼーションのようなタスクを計算的に困難にする。
そこで我々は,音声の高品質なレンダリングを実現する手段として,NARF22(Neural Articulated Radiance Fields)を提案する。
構成推定と6自由度ポーズ改善タスクによる勾配推定手法の適用性を示す。
- 参考スコア(独自算出の注目度): 6.207117735825272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Articulated objects pose a unique challenge for robotic perception and
manipulation. Their increased number of degrees-of-freedom makes tasks such as
localization computationally difficult, while also making the process of
real-world dataset collection unscalable. With the aim of addressing these
scalability issues, we propose Neural Articulated Radiance Fields (NARF22), a
pipeline which uses a fully-differentiable, configuration-parameterized Neural
Radiance Field (NeRF) as a means of providing high quality renderings of
articulated objects. NARF22 requires no explicit knowledge of the object
structure at inference time. We propose a two-stage parts-based training
mechanism which allows the object rendering models to generalize well across
the configuration space even if the underlying training data has as few as one
configuration represented. We demonstrate the efficacy of NARF22 by training
configurable renderers on a real-world articulated tool dataset collected via a
Fetch mobile manipulation robot. We show the applicability of the model to
gradient-based inference methods through a configuration estimation and 6
degree-of-freedom pose refinement task. The project webpage is available at:
https://progress.eecs.umich.edu/projects/narf/.
- Abstract(参考訳): 人工物は、ロボットの知覚と操作にユニークな課題をもたらす。
自由度の増加は、ローカライゼーションなどのタスクを計算的に困難にするとともに、実世界のデータセット収集のプロセスをスケール不能にする。
これらのスケーラビリティ問題に対処するために,我々は,完全微分可能で構成パラメータ付きニューラルネットワーク(nerf)を,関節オブジェクトの高品質なレンダリングを提供するためのパイプラインであるneural articulated radiance field(narf22)を提案する。
NARF22は、推論時に対象構造の明示的な知識を必要としない。
基礎となるトレーニングデータが1つしか表現されていない場合でも、オブジェクトレンダリングモデルが設定空間をまたいでうまく一般化できる2段階のパーツベースのトレーニングメカニズムを提案する。
本研究では,Fetchモバイル操作ロボットを用いて収集した実世界のツールデータセット上で,構成可能なレンダラーをトレーニングすることでNARF22の有効性を示す。
構成推定と6自由度ポーズ改善タスクによる勾配推定手法の適用性を示す。
プロジェクトのWebページは以下の通りである。
関連論文リスト
- NeuSurfEmb: A Complete Pipeline for Dense Correspondence-based 6D Object Pose Estimation without CAD Models [34.898217885820614]
CADモデルを必要とせず、入力として少数の実画像のみを必要とする最先端のポーズ推定器を訓練できるパイプラインを提案する。
提案手法は,Structure-from-Motion (SfM) とオブジェクトに依存しないセグメンテーションに基づいて,半自動で学習するNeuS2オブジェクト表現に基づいている。
提案手法をLINEMOD-Occlusionデータセット上で評価し,各コンポーネントの影響を広範囲に検討し,CADモデルとPBRデータに基づくアプローチによる競合性能を示す。
論文 参考訳(メタデータ) (2024-07-16T22:48:22Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳(メタデータ) (2024-06-17T21:15:13Z) - SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。
NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。
提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
論文 参考訳(メタデータ) (2024-03-28T17:28:32Z) - Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳(メタデータ) (2024-03-07T00:00:02Z) - VALERIE22 -- A photorealistic, richly metadata annotated dataset of
urban environments [5.439020425819001]
VALERIEツールパイプラインは、ドメイン固有の要素の理解に寄与するために開発された合成データジェネレータである。
VALERIE22データセットは、フォトリアリスティックセンサーシミュレーションを提供するVALERIEプロシージャツールパイプラインで生成された。
データセットは独自のリッチなメタデータセットを提供し、特定のシーンとセマンティックな特徴の抽出を可能にする。
論文 参考訳(メタデータ) (2023-08-18T15:44:45Z) - Deep Reinforcement Learning Based on Local GNN for Goal-conditioned
Deformable Object Rearranging [1.807492010338763]
オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある、最も一般的な変形可能な操作タスクの1つである。
従来の研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いていた。
画像から検出されたキーポイントを2つの表現グラフを用いて符号化する局所GNN(Graph Neural Network)に基づく学習法を設計する。
我々のフレームワークはシミュレーションにおける複数の1-D(ロープリング、ロープリング)と2-D(クロース)の再構成作業に有効であり、キーポイント検出器を微調整することで、実際のロボットに容易に移行できる。
論文 参考訳(メタデータ) (2023-02-21T05:21:26Z) - Neural-Sim: Learning to Generate Training Data with NeRF [31.81496344354997]
本稿では,ニューラルレージアンスフィールド(NeRF)を対象アプリケーションの損失関数を持つ閉ループに使用した,最初の完全微分可能な合成データパイプラインを提案する。
提案手法は,人的負担を伴わないオンデマンドでデータを生成し,目標タスクの精度を最大化する。
論文 参考訳(メタデータ) (2022-07-22T22:48:33Z) - DiffSkill: Skill Abstraction from Differentiable Physics for Deformable
Object Manipulations with Tools [96.38972082580294]
DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。
特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。
次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
論文 参考訳(メタデータ) (2022-03-31T17:59:38Z) - NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance
Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。
我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。
また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文 参考訳(メタデータ) (2022-03-03T18:49:57Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳(メタデータ) (2022-02-24T01:31:29Z) - Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation [88.04759848307687]
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
論文 参考訳(メタデータ) (2020-08-20T17:28:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。