論文の概要: Efficient-3DiM: Learning a Generalizable Single-image Novel-view
Synthesizer in One Day
- arxiv url: http://arxiv.org/abs/2310.03015v1
- Date: Wed, 4 Oct 2023 17:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 13:18:10.662667
- Title: Efficient-3DiM: Learning a Generalizable Single-image Novel-view
Synthesizer in One Day
- Title(参考訳): efficient-3dim: 1日で一般化した1画像ノベルビューシンセサイザーの学習
- Authors: Yifan Jiang, Hao Tang, Jen-Hao Rick Chang, Liangchen Song, Zhangyang
Wang, Liangliang Cao
- Abstract要約: シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。
当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
- 参考スコア(独自算出の注目度): 63.96075838322437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of novel view synthesis aims to generate unseen perspectives of an
object or scene from a limited set of input images. Nevertheless, synthesizing
novel views from a single image still remains a significant challenge in the
realm of computer vision. Previous approaches tackle this problem by adopting
mesh prediction, multi-plain image construction, or more advanced techniques
such as neural radiance fields. Recently, a pre-trained diffusion model that is
specifically designed for 2D image synthesis has demonstrated its capability in
producing photorealistic novel views, if sufficiently optimized on a 3D
finetuning task. Although the fidelity and generalizability are greatly
improved, training such a powerful diffusion model requires a vast volume of
training data and model parameters, resulting in a notoriously long time and
high computational costs. To tackle this issue, we propose Efficient-3DiM, a
simple but effective framework to learn a single-image novel-view synthesizer.
Motivated by our in-depth analysis of the inference process of diffusion
models, we propose several pragmatic strategies to reduce the training overhead
to a manageable scale, including a crafted timestep sampling strategy, a
superior 3D feature extractor, and an enhanced training scheme. When combined,
our framework is able to reduce the total training time from 10 days to less
than 1 day, significantly accelerating the training process under the same
computational platform (one instance with 8 Nvidia A100 GPUs). Comprehensive
experiments are conducted to demonstrate the efficiency and generalizability of
our proposed method.
- Abstract(参考訳): 新規ビュー合成の課題は、限られた一連の入力画像からオブジェクトやシーンの見えない視点を生成することである。
それでも、単一の画像から新しいビューを合成することは、コンピュータビジョンの領域において重要な課題である。
従来のアプローチでは、メッシュ予測やマルチプレーン画像構築、あるいはニューラルラディアンスフィールドのようなより高度な技術を採用することでこの問題に対処している。
近年,2次元画像合成に特化して設計された事前学習拡散モデルが,3次元ファインタニングタスクに十分に最適化されても,フォトリアリスティックな斬新なビューを生成する能力を示した。
忠実度と一般化性は大幅に改善されているが、そのような強力な拡散モデルの訓練には大量のトレーニングデータとモデルパラメータが必要であるため、非常に長い時間と高い計算コストがかかる。
この問題に対処するために,シングルイメージのノベルビューシンセサイザーを学習するための,シンプルかつ効果的なフレームワークであるEfficient-3DiMを提案する。
拡散モデルの推論過程を詳細に分析した結果,実時間ステップサンプリング戦略,優れた3次元特徴抽出器,強化されたトレーニングスキームなど,トレーニングオーバーヘッドを管理可能な規模に削減するための実用的戦略が提案されている。
組み合わせることで、当社のフレームワークは、合計トレーニング時間を10日間から1日未満に短縮し、同じ計算プラットフォーム(nvidia a100 gpu 8台)でトレーニングプロセスを著しく加速することが可能になります。
提案手法の効率性と一般化性を示すための総合実験を行った。
関連論文リスト
- E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image
Translation [71.7970885247162]
拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか?
まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。
第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。
論文 参考訳(メタデータ) (2024-01-11T18:59:14Z) - Preface: A Data-driven Volumetric Prior for Few-shot Ultra
High-resolution Face Synthesis [0.0]
NeRFは、複雑な外観や毛髪と皮膚の反射効果を含む、人間の顔の非常に現実的な合成を可能にした。
本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新しい視点の合成を可能にする,新しいヒューマン・フェイス・プレファレンスを提案する。
論文 参考訳(メタデータ) (2023-09-28T21:21:44Z) - Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
地上からの太陽画像の復元は計算に費用がかかる手続きである。
本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。
両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
論文 参考訳(メタデータ) (2023-06-21T07:53:00Z) - Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。
逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
論文 参考訳(メタデータ) (2023-05-25T14:56:03Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided
Sampling [42.37704606186928]
本稿では,MVSの事前学習に基づいて,新しいビュー合成フレームワークを構築することを提案する。
本手法は,最先端のベースラインに比べて15~40倍高速なレンダリングを実現する。
論文 参考訳(メタデータ) (2022-04-07T14:45:42Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。