論文の概要: NeRF-Feat: 6D Object Pose Estimation using Feature Rendering

• arxiv url: http://arxiv.org/abs/2406.13796v1
• Date: Wed, 19 Jun 2024 19:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:25:37.994973
• Title: NeRF-Feat: 6D Object Pose Estimation using Feature Rendering
• Title（参考訳）: 特徴レンダリングを用いたNeRF-Feat:6次元オブジェクト位置推定
• Authors: Shishir Reddy Vutukur, Heike Brock, Benjamin Busam, Tolga Birdal, Andreas Hutter, Slobodan Ilic,
• Abstract要約: 我々は、NeRFを用いてオブジェクトの形状を暗黙的に学習し、後にビュー不変の特徴を学習する。 CNNは、NeRFの暗黙の3dモデルとの対応を確立するために使用できるビュー不変の機能を予測するために使用される。 我々のアプローチは、同様のトレーニング設定を使用して、他のアプローチとは異なり、対称オブジェクトを処理できる。
• 参考スコア（独自算出の注目度）: 35.63977997617106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object Pose Estimation is a crucial component in robotic grasping and augmented reality. Learning based approaches typically require training data from a highly accurate CAD model or labeled training data acquired using a complex setup. We address this by learning to estimate pose from weakly labeled data without a known CAD model. We propose to use a NeRF to learn object shape implicitly which is later used to learn view-invariant features in conjunction with CNN using a contrastive loss. While NeRF helps in learning features that are view-consistent, CNN ensures that the learned features respect symmetry. During inference, CNN is used to predict view-invariant features which can be used to establish correspondences with the implicit 3d model in NeRF. The correspondences are then used to estimate the pose in the reference frame of NeRF. Our approach can also handle symmetric objects unlike other approaches using a similar training setup. Specifically, we learn viewpoint invariant, discriminative features using NeRF which are later used for pose estimation. We evaluated our approach on LM, LM-Occlusion, and T-Less dataset and achieved benchmark accuracy despite using weakly labeled data.
• Abstract（参考訳）: オブジェクトポス推定は、ロボットの把握と拡張現実において重要な要素である。 学習ベースのアプローチは一般的に、高度に正確なCADモデルからのトレーニングデータや、複雑な設定で取得したラベル付きトレーニングデータを必要とする。 我々は、CADモデルなしで、弱いラベル付きデータからポーズを推定することを学ぶことで、この問題に対処する。 我々は、NeRFを用いてオブジェクト形状を暗黙的に学習し、後にコントラッシブロスを用いてCNNと協調してビュー不変の特徴を学習するために使用されることを提案する。 NeRFはビュー一貫性のある特徴の学習を支援するが、CNNは学習した特徴が対称性を尊重することを保証している。 推論中、CNNは、NeRF内の暗黙の3dモデルとの対応を確立するために使用できるビュー不変の特徴を予測するために使用される。 対応は、NeRFの参照フレーム内のポーズを推定するために使用される。 我々のアプローチは、同様のトレーニング設定を使用して、他のアプローチとは異なり、対称オブジェクトを処理できる。 具体的には、後にポーズ推定に使用されるNeRFを用いて、視点不変、識別的特徴を学習する。 LM, LM-Occlusion, T-Lessデータセットに対するアプローチを検証し, 弱いラベル付きデータを用いてもベンチマーク精度が得られた。

関連論文リスト

• Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
  局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。 我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。 3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:48:01Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
  APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。 本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。 また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
  論文  参考訳（メタデータ） (2023-03-17T16:10:50Z)
• Random Padding Data Augmentation [23.70951896315126]
  畳み込みニューラルネットワーク(CNN)は、画像内の異なる位置で同じ物体を学習する。 CNNにおける特徴情報の空間的情報の有用性はよく研究されていない。 我々はCNNを訓練するための新しいタイプのパディング手法であるランダムパディングを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T04:15:33Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• NeRF-Pose: A First-Reconstruct-Then-Regress Approach for Weakly-supervised 6D Object Pose Estimation [44.42449011619408]
  トレーニング中に2次元オブジェクトセグメンテーションと既知の相対カメラポーズしか必要としないNeRF-Poseという,弱教師付き再構築型パイプラインを提案する。 予測応答から安定かつ正確なポーズを推定するために、NeRF対応RAN+SACアルゴリズムを用いる。 LineMod-Occlusion 実験の結果,提案手法は6次元ポーズ推定法と比較して最先端の精度を持つことがわかった。
  論文  参考訳（メタデータ） (2022-03-09T15:28:02Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• Keypoint Message Passing for Video-based Person Re-Identification [106.41022426556776]
  ビデオベースの人物再識別(re-ID)は、異なるカメラで捉えた人々のビデオスニペットをマッチングすることを目的とした、視覚監視システムにおいて重要な技術である。 既存の手法は主に畳み込みニューラルネットワーク(CNN)に基づいており、そのビルディングブロックは近隣のピクセルを一度に処理するか、あるいは3D畳み込みが時間情報のモデル化に使用される場合、人の動きによって生じるミスアライメントの問題に悩まされる。 本稿では,人間指向グラフ法を用いて,通常の畳み込みの限界を克服することを提案する。具体的には,人手指のキーポイントに位置する特徴を抽出し,時空間グラフとして接続する。
  論文  参考訳（メタデータ） (2021-11-16T08:01:16Z)
• Adversarial Shape Learning for Building Extraction in VHR Remote Sensing Images [18.650642666164252]
  建物の形状パターンをモデル化する対比形状学習ネットワーク(ASLNet)を提案する。 実験の結果,提案したASLNetは画素ベース精度とオブジェクトベース測定の両方を大きなマージンで改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-22T18:49:43Z)
• Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation [51.17232267143098]
  ステレオ画像から3次元物体を検出するための新しいシステムDisp R-CNNを提案する。 我々は、LiDAR点雲を必要とせずに、統計的形状モデルを用いて、密度の異なる擬似地下構造を生成する。 KITTIデータセットの実験によると、LiDARの基盤構造がトレーニング時に利用できない場合でも、Disp R-CNNは競争性能を達成し、平均精度で従来の最先端手法を20%上回っている。
  論文  参考訳（メタデータ） (2020-04-07T17:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。