論文の概要: Novel View Synthesis with Neural Radiance Fields for Industrial Robot Applications

• arxiv url: http://arxiv.org/abs/2405.04345v1
• Date: Tue, 7 May 2024 14:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 13:50:50.388321
• Title: Novel View Synthesis with Neural Radiance Fields for Industrial Robot Applications
• Title（参考訳）: 産業用ロボットのためのニューラルラジアンスフィールドを用いた新しいビュー合成
• Authors: Markus Hillemann, Robert Langendörfer, Max Heiken, Max Mehltretter, Andreas Schenk, Martin Weinmann, Stefan Hinz, Christian Heipke, Markus Ulrich,
• Abstract要約: 本稿では,産業用ロボットにおけるニューラル・ラジアンス・フィールド(NeRF)の可能性を評価する。 産業用ロボットのエンドエフェクタに取り付けられたカメラで入力画像をキャプチャし、ロボットキネマティクスに基づいて正確なカメラポーズを計測する。 そこで本研究では,これらを基礎的真実と比較し,アンサンブル法に基づく内部品質尺度を計算することによって,新たな視点の質を考察する。
• 参考スコア（独自算出の注目度）: 3.502040516679817
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural Radiance Fields (NeRFs) have become a rapidly growing research field with the potential to revolutionize typical photogrammetric workflows, such as those used for 3D scene reconstruction. As input, NeRFs require multi-view images with corresponding camera poses as well as the interior orientation. In the typical NeRF workflow, the camera poses and the interior orientation are estimated in advance with Structure from Motion (SfM). But the quality of the resulting novel views, which depends on different parameters such as the number and distribution of available images, as well as the accuracy of the related camera poses and interior orientation, is difficult to predict. In addition, SfM is a time-consuming pre-processing step, and its quality strongly depends on the image content. Furthermore, the undefined scaling factor of SfM hinders subsequent steps in which metric information is required. In this paper, we evaluate the potential of NeRFs for industrial robot applications. We propose an alternative to SfM pre-processing: we capture the input images with a calibrated camera that is attached to the end effector of an industrial robot and determine accurate camera poses with metric scale based on the robot kinematics. We then investigate the quality of the novel views by comparing them to ground truth, and by computing an internal quality measure based on ensemble methods. For evaluation purposes, we acquire multiple datasets that pose challenges for reconstruction typical of industrial applications, like reflective objects, poor texture, and fine structures. We show that the robot-based pose determination reaches similar accuracy as SfM in non-demanding cases, while having clear advantages in more challenging scenarios. Finally, we present first results of applying the ensemble method to estimate the quality of the synthetic novel view in the absence of a ground truth.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、3Dシーン再構成などの典型的なフォトグラムのワークフローに革命をもたらす可能性を持つ、急速に成長する研究分野となっている。 入力として、NeRFはカメラのポーズとインテリアの向きを持つマルチビュー画像を必要とする。 典型的なNeRFワークフローでは、カメラのポーズと内部の向きはStructure from Motion (SfM)と事前に推定される。 しかし、利用可能な画像の数や分布、関連するカメラのポーズや内向きの精度など、異なるパラメータに依存する新しいビューの品質は予測が難しい。 さらに、SfMは時間を要する前処理ステップであり、その品質は画像の内容に強く依存する。 さらに、SfMの未定義のスケーリング係数は、計量情報が必要な後のステップを妨げる。 本稿では,産業用ロボットにおけるNeRFの可能性を評価する。 本稿では,産業用ロボットのエンドエフェクタに装着されたキャリブレーションカメラを用いて,ロボットキネマティクスに基づいて,正確なカメラポーズを計測する,SfMプリプロセッシングの代替案を提案する。 そこで本研究では,これらを基礎的真実と比較し,アンサンブル法に基づく内部品質尺度を計算することによって,新たな視点の質を考察する。 評価のために、反射オブジェクト、粗いテクスチャ、きめ細かい構造など、産業応用の典型的な再構築に挑戦する複数のデータセットを取得する。 ロボットによるポーズ決定は、要求しないケースではSfMと同等の精度に到達し、より困難なシナリオでは明確なアドバンテージを持つことを示す。 最後に, アンサンブル法を適用して, 基礎的真理が欠如している場合に, 合成ノベルビューの品質を推定する。

関連論文リスト

• OCR is All you need: Importing Multi-Modality into Image-based Defect Detection System [7.1083241462091165]
  我々は,光学的文字認識(OCR)を基本とする外部モダリティ誘導データマイニングフレームワークを導入し,画像から統計的特徴を抽出する。 提案手法の重要な側面は、単一のモーダル認識モデルを用いて抽出された外部モーダル特徴のアライメントであり、畳み込みニューラルネットワークによって符号化された画像特徴である。 本手法は欠陥検出モデルのリコール率を大幅に向上させ,挑戦シナリオにおいても高い堅牢性を維持する。
  論文  参考訳（メタデータ） (2024-03-18T07:41:39Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Computational Optics for Mobile Terminals in Mass Production [17.413494778377565]
  写真から測定した周波数特性とシステムパラメータの関係を説明するために,摂動型レンズシステムモデルを構築した。 このモデルに基づいて, 加工サンプルのSFRからプロキシカメラを構築するための最適化フレームワークを提案する。 プロキシカメラを用いて、光学収差とランダムな製造バイアスをエンコードしたデータペアを合成し、収差に基づくアルゴリズムを訓練する。
  論文  参考訳（メタデータ） (2023-05-10T04:17:33Z)
• MELON: NeRF with Unposed Images in SO(3) [35.093700416540436]
  ニューラルネットワークは、非提示画像から最先端の精度でニューラルラジアンス場を再構築でき、対向的アプローチの10倍のビューを必要とすることを示す。 ニューラルネットを用いてポーズ推定を正則化することにより,提案手法は非ポーズ画像から最先端の精度でニューラルレイディアンス場を再構築し,敵のアプローチの10倍のビューを要求できることを示した。
  論文  参考訳（メタデータ） (2023-03-14T17:33:39Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
  実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-10-09T11:46:45Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
  DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。 アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。 DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-28T16:18:08Z)
• NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
  本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。 RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:52:34Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。