論文の概要: Unsupervised Learning of Depth and Depth-of-Field Effect from Natural
Images with Aperture Rendering Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2106.13041v1
- Date: Thu, 24 Jun 2021 14:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:20:57.637096
- Title: Unsupervised Learning of Depth and Depth-of-Field Effect from Natural
Images with Aperture Rendering Generative Adversarial Networks
- Title(参考訳): 開口レンダリング生成逆ネットワークを用いた自然画像からの奥行きと奥行きの教師なし学習
- Authors: Takuhiro Kaneko
- Abstract要約: 本稿では,GAN上にアパーチャレンダリングを実装したAR-GAN(Aperture rendering Generative Adversarial Network)を提案する。
実験では,花,鳥,顔画像などの各種データセットにおけるAR-GANの有効性を実証し,これらを他の3次元表現学習GANに組み込むことで可搬性を示し,浅部DoFレンダリングにおけるそれらの適用性を検証する。
- 参考スコア(独自算出の注目度): 15.546533383799309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the 3D world from 2D projected natural images is a fundamental
challenge in computer vision and graphics. Recently, an unsupervised learning
approach has garnered considerable attention owing to its advantages in data
collection. However, to mitigate training limitations, typical methods need to
impose assumptions for viewpoint distribution (e.g., a dataset containing
various viewpoint images) or object shape (e.g., symmetric objects). These
assumptions often restrict applications; for instance, the application to
non-rigid objects or images captured from similar viewpoints (e.g., flower or
bird images) remains a challenge. To complement these approaches, we propose
aperture rendering generative adversarial networks (AR-GANs), which equip
aperture rendering on top of GANs, and adopt focus cues to learn the depth and
depth-of-field (DoF) effect of unlabeled natural images. To address the
ambiguities triggered by unsupervised setting (i.e., ambiguities between smooth
texture and out-of-focus blurs, and between foreground and background blurs),
we develop DoF mixture learning, which enables the generator to learn real
image distribution while generating diverse DoF images. In addition, we devise
a center focus prior to guiding the learning direction. In the experiments, we
demonstrate the effectiveness of AR-GANs in various datasets, such as flower,
bird, and face images, demonstrate their portability by incorporating them into
other 3D representation learning GANs, and validate their applicability in
shallow DoF rendering.
- Abstract(参考訳): 2次元投影自然画像から3d世界を理解することは、コンピュータビジョンとグラフィックスにおける根本的な課題である。
近年,データ収集における優位性から,教師なし学習アプローチが注目されている。
しかし、トレーニング制限を緩和するために、典型的な方法は視点分布(例えば、様々な視点画像を含むデータセット)や物体形状(例えば対称オブジェクト)の仮定を課す必要がある。
例えば、類似の視点(例えば、花や鳥の画像)からキャプチャされた非剛性物体や画像への応用は、依然として課題である。
これらの手法を補完するために,GAN上にアパーチャレンダリングを装備するAR-GAN(Aperture rendering Generative Adversarial Network)を提案し,未ラベルの自然画像の深度と深度(DoF)効果を学習するためにフォーカスキューを採用した。
教師なし設定(スムーズなテクスチャとアウト・オブ・フォーカスのぼかし、前景と背景のぼかしのあいまいさ)によって引き起こされる曖昧さに対処するため,多様なDoF画像を生成しながら実際の画像分布を学習できるDoF混合学習を開発した。
さらに、学習方向を導く前に、中心となる焦点を考案する。
実験では,花,鳥,顔画像などの各種データセットにおけるAR-GANの有効性を実証し,これらを他の3次元表現学習GANに組み込んで移植性を示し,浅いDoFレンダリングにおける適用性を検証する。
関連論文リスト
- SparseDFF: Sparse-View Feature Distillation for One-Shot Dexterous
Manipulation [27.90055403772258]
大規模2次元視覚モデルを用いて,多視点画像から意味的特徴を抽出するDFF(Distilled Feature Field)を開発した。
スパースRGBD観測からビュー一貫性を持つ3次元DFFを得るための新しい手法であるスパースDFFを紹介する。
具体的には、画像の特徴を3Dポイントクラウドにマッピングし、3D空間を伝播することで、高密度な特徴場を確立する。
論文 参考訳(メタデータ) (2023-10-25T17:59:41Z) - Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images
with Free Attention Masks [64.67735676127208]
テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。
有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。
上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
論文 参考訳(メタデータ) (2023-08-13T10:07:46Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳(メタデータ) (2023-02-21T16:18:40Z) - Learning Depth from Focus in the Wild [16.27391171541217]
単一焦点スタックからの畳み込みニューラルネットワークによる深度推定を提案する。
本手法では,画像アライメントにおいても,奥行きマップをエンドツーエンドで推定することができる。
提案するネットワークの一般化のために,商用カメラの特徴を現実的に再現するシミュレータを開発した。
論文 参考訳(メタデータ) (2022-07-20T05:23:29Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural
Images with Aperture Rendering Neural Radiance Fields [23.92262483956057]
データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。
視点とデフォーカスの手がかりを統一的に活用できる開口描画型NeRF(AR-NeRF)を提案する。
深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証する。
論文 参考訳(メタデータ) (2022-06-13T12:41:59Z) - De-rendering 3D Objects in the Wild [21.16153549406485]
物体の1つの像を1つの形状に分解できる弱教師付き手法を提案する。
トレーニングでは、学習プロセスをブートストラップするために、トレーニング対象の粗い初期形状の推定にのみ依存する。
本実験では,2次元画像を3次元表現にデレンダリングし,未知のオブジェクトカテゴリに一般化できることを示す。
論文 参考訳(メタデータ) (2022-01-06T23:50:09Z) - Combining Semantic Guidance and Deep Reinforcement Learning For
Generating Human Level Paintings [22.889059874754242]
脳卒中に基づく非フォトリアリスティック画像の生成は、コンピュータビジョンコミュニティにおいて重要な問題である。
従来の手法は、前景オブジェクトの位置、規模、正当性にほとんど変化のないデータセットに限られていた。
本研究では,1)前景と背景の筆画の区別を学習するための2段階の塗装手順を備えたセマンティック・ガイダンス・パイプラインを提案する。
論文 参考訳(メタデータ) (2020-11-25T09:00:04Z) - Image GANs meet Differentiable Rendering for Inverse Graphics and
Interpretable 3D Neural Rendering [101.56891506498755]
異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。
提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
論文 参考訳(メタデータ) (2020-10-18T22:29:07Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳(メタデータ) (2020-02-10T20:15:21Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。