論文の概要: EvE: Exploiting Generative Priors for Radiance Field Enrichment

• arxiv url: http://arxiv.org/abs/2312.00639v1
• Date: Fri, 1 Dec 2023 14:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:07:46.777127
• Title: EvE: Exploiting Generative Priors for Radiance Field Enrichment
• Title（参考訳）: EvE: 放射界濃縮のための生成優先事項の爆発
• Authors: Karim Kassab, Antoine Schnepf, Jean-Yves Franceschi, Laurent Caraffa, Jeremie Mary, Val\'erie Gouet-Brunet
• Abstract要約: EvEは私たちの知る限りでは最善であり、生成前の先入観を活用してシーンモデリングを改善する最初の方法である。 我々は、K-Planes表現を外部知識で豊かにするために、事前訓練された生成ネットワークを利用する。 本研究では,本手法が合成データや実際の観光写真コレクションに与える影響を検証し,広範な実験を行った。
• 参考スコア（独自算出の注目度）: 2.9360071145551068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling large-scale scenes from unconstrained image collections in-the-wild has proven to be a major challenge in computer vision. Existing methods tackling in-the-wild neural rendering operate in a closed-world setting, where knowledge is limited to a scene's captured images within a training set. We propose EvE, which is, to the best of our knowledge, the first method leveraging generative priors to improve in-the-wild scene modeling. We employ pre-trained generative networks to enrich K-Planes representations with extrinsic knowledge. To this end, we define an alternating training procedure to conduct optimization guidance of K-Planes trained on the training set. We carry out extensive experiments and verify the merit of our method on synthetic data as well as real tourism photo collections. EvE enhances rendered scenes with richer details and outperforms the state of the art on the task of novel view synthesis in-the-wild. Our project page can be found at https://eve-nvs.github.io .
• Abstract（参考訳）: 制約のない画像コレクションからの大規模なシーンのモデリングは、コンピュータビジョンにおいて大きな課題であることが証明されている。 既存のニューラルネットワークレンダリング処理方法はクローズドワールド環境で動作し、知識はトレーニングセット内のシーンのキャプチャ画像に限られる。 EvE(EvE)は,我々の知識を最大限に活用するために,まず,生成前の先進的手法を用いてシーンモデリングを改善する方法を提案する。 我々は、K-Planes表現を外部知識で強化するために、事前訓練された生成ネットワークを用いる。 この目的のために,訓練セット上で訓練されたk面の最適化指導を行うための交互訓練手順を定義する。 本研究では,本手法の総合データおよび実観光写真収集における有用性を検証し,広範な実験を行った。 EvEはレンダリングシーンをよりリッチなディテールで強化し、新しいビューシンセサイザーのタスクにおいて芸術の状態を上回ります。 私たちのプロジェクトページはhttps://eve-nvs.github.io で参照できます。

関連論文リスト

• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• Reconstructing Training Data From Real World Models Trained with Transfer Learning [29.028185455223785]
  本稿では,高解像度画像上で訓練されたモデルに対して,現実的な設定でデータ再構成を可能にする新しい手法を提案する。 本手法は実世界のシナリオに対してarXiv:2206.07758の再構成方式を適用する。 そこで本研究では,数千の候補からの良好な復元を識別するためのクラスタリングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:10Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• A Generative Model for Generic Light Field Reconstruction [15.394019131959096]
  可変オートエンコーダを用いた4次元光電場パッチ生成モデルを初めて提示する。 我々は、光場の中心的な視点で条件付き生成モデルを開発し、これをエネルギー最小化フレームワークにプリミティブとして組み込む。 提案手法は,エンド・ツー・エンドのトレーニングネットワークに接近する性能向上を実証する。
  論文  参考訳（メタデータ） (2020-05-13T18:27:42Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。