Fugu-MT 論文翻訳(概要): AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields

論文の概要: AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields

arxiv url: http://arxiv.org/abs/2206.06100v1
Date: Mon, 13 Jun 2022 12:41:59 GMT
ステータス: 処理完了
システム内更新日: 2022-06-14 13:35:41.750959
Title: AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields
Title（参考訳）: ar-nerf: 開口レンダリングニューラルラミアンスフィールドを用いた自然画像からの奥行きとデフォーカス効果の教師なし学習
Authors: Takuhiro Kaneko
Abstract要約: データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。視点とデフォーカスの手がかりを統一的に活用できる開口描画型NeRF(AR-NeRF)を提案する。深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証する。
参考スコア（独自算出の注目度）: 23.92262483956057
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fully unsupervised 3D representation learning has gained attention owing to its advantages in data collection. A successful approach involves a viewpoint-aware approach that learns an image distribution based on generative models (e.g., generative adversarial networks (GANs)) while generating various view images based on 3D-aware models (e.g., neural radiance fields (NeRFs)). However, they require images with various views for training, and consequently, their application to datasets with few or limited viewpoints remains a challenge. As a complementary approach, an aperture rendering GAN (AR-GAN) that employs a defocus cue was proposed. However, an AR-GAN is a CNN-based model and represents a defocus independently from a viewpoint change despite its high correlation, which is one of the reasons for its performance. As an alternative to an AR-GAN, we propose an aperture rendering NeRF (AR-NeRF), which can utilize viewpoint and defocus cues in a unified manner by representing both factors in a common ray-tracing framework. Moreover, to learn defocus-aware and defocus-independent representations in a disentangled manner, we propose aperture randomized training, for which we learn to generate images while randomizing the aperture size and latent codes independently. During our experiments, we applied AR-NeRF to various natural image datasets, including flower, bird, and face images, the results of which demonstrate the utility of AR-NeRF for unsupervised learning of the depth and defocus effects.
Abstract（参考訳）: データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。成功したアプローチは、生成モデル(例えば、gans)に基づく画像分布を学習し、3d認識モデル(例えば、神経放射野(nerfs))に基づいて様々なビュー画像を生成する視点認識アプローチである。しかし、トレーニングには様々なビューのイメージが必要であるため、少ない視点や限られた視点のデータセットへの適用は依然として課題である。相補的なアプローチとして,デフォーカスキューを用いた開口レンダリングGAN(AR-GAN)を提案する。しかし、ar-ganはcnnベースのモデルであり、相関度が高いにもかかわらず、視点の変化とは独立にデフォーカスを表現する。 AR-GANの代替として、共通のレイトレーシングフレームワークにおいて両因子を表現し、視点とデフォーカスの手がかりを統一的に活用できる開口レンダリングNeRF(AR-NeRF)を提案する。さらに,デフォーカス認識とデフォーカス非依存表現を不連続に学習するために,開口サイズと潜在符号を独立にランダム化しながら画像を生成するアパーチャランダム化トレーニングを提案する。実験では, 花, 鳥, 顔画像などの自然画像データセットにAR-NeRFを適用し, 深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証した。

関連論文リスト

DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models [60.48305533224092]
ExtraNeRFはニューラル・ラジアンス・フィールド(NeRF)によって処理される視野を外挿する新しい方法である主な考え方は、NeRFをシーン固有の細部までモデル化し、拡散モデルを利用して観測データを超えて外挿することです。
論文参考訳（メタデータ） (2024-06-10T09:44:06Z)
3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文参考訳（メタデータ） (2024-01-02T00:42:06Z)
Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
論文参考訳（メタデータ） (2023-05-29T13:30:26Z)
Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。 DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文参考訳（メタデータ） (2023-05-15T20:24:38Z)
Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文参考訳（メタデータ） (2023-04-13T17:59:01Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation [24.65896451569795]
我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
論文参考訳（メタデータ） (2022-04-28T11:50:18Z)
NeRFocus: Neural Radiance Field for 3D Synthetic Defocus [3.7767536855440462]
本稿では, 様々な3次元デフォーカス効果を直接描画できる, 薄膜イメージングによる新しいNeRFフレームワークを提案する。 NeRFocusは、調整可能なカメラポーズ、焦点距離、開口サイズで様々な3Dデフォーカス効果を達成することができる。
論文参考訳（メタデータ） (2022-03-10T06:59:10Z)
Unsupervised Learning of Depth and Depth-of-Field Effect from Natural Images with Aperture Rendering Generative Adversarial Networks [15.546533383799309]
本稿では,GAN上にアパーチャレンダリングを実装したAR-GAN(Aperture rendering Generative Adversarial Network)を提案する。実験では,花,鳥,顔画像などの各種データセットにおけるAR-GANの有効性を実証し,これらを他の3次元表現学習GANに組み込むことで可搬性を示し,浅部DoFレンダリングにおけるそれらの適用性を検証する。
論文参考訳（メタデータ） (2021-06-24T14:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。