論文の概要: Variable Radiance Field for Real-Life Category-Specifc Reconstruction from Single Image

• arxiv url: http://arxiv.org/abs/2306.05145v1
• Date: Thu, 8 Jun 2023 12:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 14:35:53.820798
• Title: Variable Radiance Field for Real-Life Category-Specifc Reconstruction from Single Image
• Title（参考訳）: 単一画像からのリアルライフカテゴリー・種別再構成のための可変放射場
• Authors: Kun Wang, Zhiqiang Yan, Zhenyu Zhang, Xiang Li, Jun Li, and Jian Yang
• Abstract要約: 本稿では,カメラパラメータが未知の単一画像からカテゴリ固有のオブジェクトを再構成できる新しいフレームワークを提案する。 マルチスケールグローバル特徴抽出器を用いてオブジェクトの形状と外観をパラメータ化する。 また,特徴抽出器の改良のために,コントラスト学習に基づく事前学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 27.290232027686237
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reconstructing category-specific objects from a single image is a challenging task that requires inferring the geometry and appearance of an object from a limited viewpoint. Existing methods typically rely on local feature retrieval based on re-projection with known camera intrinsic, which are slow and prone to distortion at viewpoints distant from the input image. In this paper, we present Variable Radiance Field (VRF), a novel framework that can efficiently reconstruct category-specific objects from a single image without known camera parameters. Our key contributions are: (1) We parameterize the geometry and appearance of the object using a multi-scale global feature extractor, which avoids frequent point-wise feature retrieval and camera dependency. We also propose a contrastive learning-based pretraining strategy to improve the feature extractor. (2) We reduce the geometric complexity of the object by learning a category template, and use hypernetworks to generate a small neural radiance field for fast and instance-specific rendering. (3) We align each training instance to the template space using a learned similarity transformation, which enables semantic-consistent learning across different objects. We evaluate our method on the CO3D dataset and show that it outperforms existing methods in terms of quality and speed. We also demonstrate its applicability to shape interpolation and object placement tasks.
• Abstract（参考訳）: 一つの画像からカテゴリ固有のオブジェクトを再構築することは、限られた視点からオブジェクトの形状や外観を推測する必要がある困難なタスクである。 既存の手法は通常、既知のカメラ固有の再投影に基づく局所的な特徴検索に依存しており、入力画像から離れた視点で歪みが発生しやすい。 本稿では,カメラパラメータが不明な単一の画像からカテゴリ固有オブジェクトを効率的に再構成できる新しいフレームワークであるvarable radiance field(vrf)を提案する。 我々は,(1)多スケールグローバル特徴抽出器を用いてオブジェクトの形状と外観をパラメータ化し,ポイントワイド特徴抽出とカメラ依存性の頻繁さを回避する。 また,特徴抽出器の改良のために,コントラスト学習に基づく事前学習戦略を提案する。 2) カテゴリテンプレートを学習することでオブジェクトの幾何学的複雑さを低減し, ハイパーネットワークを用いて高速かつインスタンス固有のレンダリングのための小さなニューラルラディアンス場を生成する。 3)各トレーニングインスタンスをテンプレート空間にアライメントする学習類似度変換により,異なるオブジェクト間の意味一貫性のある学習を可能にする。 提案手法をCO3Dデータセット上で評価し,既存の手法よりも品質と速度で優れていることを示す。 また、補間およびオブジェクト配置タスクを形作るための適用性を示す。

関連論文リスト

• SINGAPO: Single Image Controlled Generation of Articulated Parts in Objects [20.978091381109294]
  本稿では,単一画像から音声オブジェクトを生成する手法を提案する。 提案手法は,入力画像と視覚的に一致した音声オブジェクトを生成する。 実験の結果,本手法は音声によるオブジェクト生成における最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T20:41:32Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• SemAug: Semantically Meaningful Image Augmentations for Object Detection Through Language Grounding [5.715548995729382]
  本研究では,シーンに文脈的に意味のある知識を注入することで,画像強調のための効果的な手法を提案する。 本手法は,意味的に適切な新しいオブジェクトを抽出することから,言語接地によるオブジェクト検出のための意味的意味的画像強調法であるSemAugを出発点とする。
  論文  参考訳（メタデータ） (2022-08-15T19:00:56Z)
• Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance Consistency [59.427074701985795]
  単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。 異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。 i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
  論文  参考訳（メタデータ） (2022-04-21T17:47:35Z)
• Fusing Local Similarities for Retrieval-based 3D Orientation Estimation of Unseen Objects [70.49392581592089]
  我々は,モノクロ画像から未確認物体の3次元配向を推定する作業に取り組む。 我々は検索ベースの戦略に従い、ネットワークがオブジェクト固有の特徴を学習するのを防ぐ。 また,LineMOD,LineMOD-Occluded,T-LESSのデータセットを用いた実験により,本手法が従来の手法よりもはるかに優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-03-16T08:53:00Z)
• Unsupervised Layered Image Decomposition into Object Prototypes [39.20333694585477]
  自動検出対象モデルの層に画像を分解するための教師なし学習フレームワークを提案する。 我々はまず,標準マルチオブジェクト合成ベンチマークにおける技術状況と同等の結果を提供することで,我々のアプローチを検証した。 次に、クラスタリング(SVHN、GTSRB)、コセグメンテーション(Weizmann Horse)、フィルタされていないソーシャルネットワークイメージからのオブジェクト発見を含むタスクにおける実画像へのモデルの適用性を示す。
  論文  参考訳（メタデータ） (2021-04-29T18:02:01Z)
• A Simple and Effective Use of Object-Centric Images for Long-Tailed Object Detection [56.82077636126353]
  シーン中心画像における物体検出を改善するために,物体中心画像を活用する。 私たちは、シンプルで驚くほど効果的なフレームワークを提示します。 我々の手法は、レアオブジェクトのオブジェクト検出(およびインスタンスセグメンテーション)の精度を相対的に50%(および33%)向上させることができる。
  論文  参考訳（メタデータ） (2021-02-17T17:27:21Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)
• Self-supervised Single-view 3D Reconstruction via Semantic Consistency [142.71430568330172]
  対象物の形状, テクスチャ, カメラポーズを予測できる, 自己監督型, 単視点3D再構成モデルを学習する。 提案手法では,手動で注釈付けしたキーポイント,オブジェクトのマルチビューイメージ,あるいは事前の3Dテンプレートなど,3Dの監督を必要としない。
  論文  参考訳（メタデータ） (2020-03-13T20:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。