論文の概要: Variable Radiance Field for Real-World Category-Specific Reconstruction from Single Image

• arxiv url: http://arxiv.org/abs/2306.05145v2
• Date: Mon, 17 Feb 2025 07:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:46.324557
• Title: Variable Radiance Field for Real-World Category-Specific Reconstruction from Single Image
• Title（参考訳）: 実世界のカテゴリー別画像再構成のための可変ラジアンス場
• Authors: Kun Wang, Zhiqiang Yan, Zhenyu Zhang, Xiang Li, Jun Li, Jian Yang,
• Abstract要約: 単一画像からNeural Radiance Field(NeRF)を使用してカテゴリ固有のオブジェクトを再構成することは、有望だが挑戦的な作業である。 本稿では,カテゴリ固有のオブジェクトを効率的に再構成できる新しいフレームワークである可変放射場(VRF)を提案する。 VRFは、再構築品質と計算効率の両方において最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 25.44715538841181
• License:
• Abstract: Reconstructing category-specific objects using Neural Radiance Field (NeRF) from a single image is a promising yet challenging task. Existing approaches predominantly rely on projection-based feature retrieval to associate 3D points in the radiance field with local image features from the reference image. However, this process is computationally expensive, dependent on known camera intrinsics, and susceptible to occlusions. To address these limitations, we propose Variable Radiance Field (VRF), a novel framework capable of efficiently reconstructing category-specific objects without requiring known camera intrinsics and demonstrating robustness against occlusions. First, we replace the local feature retrieval with global latent representations, generated through a single feed-forward pass, which improves efficiency and eliminates reliance on camera intrinsics. Second, to tackle coordinate inconsistencies inherent in real-world dataset, we define a canonical space by introducing a learnable, category-specific shape template and explicitly aligning each training object to this template using a learnable 3D transformation. This approach also reduces the complexity of geometry prediction to modeling deformations from the template to individual instances. Finally, we employ a hyper-network-based method for efficient NeRF creation and enhance the reconstruction performance through a contrastive learning-based pretraining strategy. Evaluations on the CO3D dataset demonstrate that VRF achieves state-of-the-art performance in both reconstruction quality and computational efficiency.
• Abstract（参考訳）: 単一画像からNeural Radiance Field(NeRF)を使用してカテゴリ固有のオブジェクトを再構成することは、有望だが挑戦的な作業である。 既存のアプローチは主に投影に基づく特徴検索に頼り、放射場内の3D点と参照画像からの局所像の特徴を関連付ける。 しかし、このプロセスは計算に高価であり、既知のカメラの内在に依存しており、排他の影響を受けやすい。 これらの制約に対処するために, カメラの内在性を必要とせず, 隠蔽に対して頑健性を示すことなく, カテゴリ固有のオブジェクトを効率的に再構築できる新しいフレームワーク, Variable Radiance Field (VRF) を提案する。 まず、ローカルな特徴検索をグローバルな潜在表現に置き換え、単一のフィードフォワードパスを通じて生成し、効率を改善し、カメラ固有の機能に依存しないようにする。 第2に、実世界のデータセットに固有の座標の不整合に対処するために、学習可能なカテゴリ固有の形状テンプレートを導入し、学習可能な3D変換を用いて各トレーニングオブジェクトをこのテンプレートに明示的に整合させることにより、標準空間を定義する。 このアプローチはまた、テンプレートから個々のインスタンスへの変形をモデル化するために幾何学的予測の複雑さを低減する。 最後に,NRF 生成を効率的に行うためのハイパーネットワーク方式を採用し,コントラスト学習に基づく事前学習戦略により再構成性能を向上させる。 CO3Dデータセットの評価は、VRFが再現品質と計算効率の両方で最先端のパフォーマンスを達成することを示す。

関連論文リスト

• 3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction [50.07071392673984]
  既存の方法は、角度や四元数を用いて空間領域でパラメータ化された3次元回転を学習する。 本稿では,3次元回転回帰のためのWigner-D係数を直接予測する周波数領域アプローチを提案する。 提案手法は, ModelNet10-SO(3) や PASCAL3D+ などのベンチマーク上での最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-11-01T12:50:38Z)
• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• Source-Free and Image-Only Unsupervised Domain Adaptation for Category Level Object Pose Estimation [18.011044932979143]
  3DUDAは、3Dや深度データを使わずに、ニュアンスドライデンのターゲットドメインに適応できる手法である。 対象のカテゴリを単純な立方体メッシュとして表現し、ニューラル特徴活性化の生成モデルを利用する。 本手法は,グローバルな擬似ラベル付きデータセットの微調整を軽度な仮定でシミュレートする。
  論文  参考訳（メタデータ） (2024-01-19T17:48:05Z)
• 3DFusion, A real-time 3D object reconstruction pipeline based on streamed instance segmented data [0.552480439325792]
  本稿では,RGB-D画像を利用したリアルタイムセグメンテーション・再構築システムを提案する。 システムはRGB-Dデータに対して画素レベルのセグメンテーションを行い、背景オブジェクトを効果的に分離する。 リアルタイム3Dモデリングは、拡張現実、仮想現実、インテリアデザイン、都市計画、道路支援、セキュリティシステムなど、さまざまな分野に適用することができる。
  論文  参考訳（メタデータ） (2023-11-11T20:11:58Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
  我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。 我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。 歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
  論文  参考訳（メタデータ） (2022-04-28T11:50:18Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
  本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。 画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。 本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
  論文  参考訳（メタデータ） (2020-08-18T20:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。