論文の概要: A Generative Model for Generic Light Field Reconstruction

• arxiv url: http://arxiv.org/abs/2005.06508v2
• Date: Wed, 17 Jun 2020 17:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 13:36:33.571987
• Title: A Generative Model for Generic Light Field Reconstruction
• Title（参考訳）: ジェネリック光電場再構成のための生成モデル
• Authors: Paramanand Chandramouli, Kanchana Vaishnavi Gandikota, Andreas Goerlitz, Andreas Kolb, Michael Moeller
• Abstract要約: 可変オートエンコーダを用いた4次元光電場パッチ生成モデルを初めて提示する。 我々は、光場の中心的な視点で条件付き生成モデルを開発し、これをエネルギー最小化フレームワークにプリミティブとして組み込む。 提案手法は,エンド・ツー・エンドのトレーニングネットワークに接近する性能向上を実証する。
• 参考スコア（独自算出の注目度）: 15.394019131959096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently deep generative models have achieved impressive progress in modeling the distribution of training data. In this work, we present for the first time a generative model for 4D light field patches using variational autoencoders to capture the data distribution of light field patches. We develop a generative model conditioned on the central view of the light field and incorporate this as a prior in an energy minimization framework to address diverse light field reconstruction tasks. While pure learning-based approaches do achieve excellent results on each instance of such a problem, their applicability is limited to the specific observation model they have been trained on. On the contrary, our trained light field generative model can be incorporated as a prior into any model-based optimization approach and therefore extend to diverse reconstruction tasks including light field view synthesis, spatial-angular super resolution and reconstruction from coded projections. Our proposed method demonstrates good reconstruction, with performance approaching end-to-end trained networks, while outperforming traditional model-based approaches on both synthetic and real scenes. Furthermore, we show that our approach enables reliable light field recovery despite distortions in the input.
• Abstract（参考訳）: 近年,深層生成モデルがトレーニングデータの分布のモデル化において顕著な進歩を遂げている。 本稿では,4次元光電界パッチに対して,可変オートエンコーダを用いた生成モデルを用いて,光電界パッチのデータ分布をキャプチャする。 我々は,光場の中心的視野を条件とした生成モデルを開発し,これをエネルギー最小化枠組みに先行して取り入れ,多様な光場再構成課題に対処した。 純粋な学習に基づくアプローチは、そのような問題のインスタンス毎に優れた結果をもたらすが、それらの適用性は、訓練された特定の観察モデルに限られる。 対照的に、訓練された光場生成モデルは、任意のモデルに基づく最適化手法に先行して組み込むことができ、したがって光場ビュー合成、空間角超解像、符号化投影からの再構成を含む多様な再構成タスクに拡張することができる。 提案手法は,エンド・ツー・エンドのトレーニングネットワークに近づく性能と,合成シーンと実シーンの両方において従来のモデルベースアプローチよりも優れた性能を示す。 さらに,本手法は入力の歪みにも拘わらず,信頼性の高い光界回復を可能にすることを示す。

関連論文リスト

• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• RefinedFields: Radiance Fields Refinement for Unconstrained Scenes [7.421845364041002]
  我々はRefinedFieldsを提案し、私たちの知識を最大限活用するために、事前学習されたモデルを活用して、フィールド内シーンモデリングを改善する最初の方法を提案する。 我々は、最適化誘導によりK-Planes表現を洗練するために、事前訓練されたネットワークを利用する。 本研究では,本手法が合成データや実際の観光写真コレクションに与える影響を検証し,広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-01T14:59:43Z)
• Discovery and Expansion of New Domains within Diffusion Models [41.25905891327446]
  拡散モデルの一般化特性を数発のセットアップで検討する。 ドメイン外のターゲットデータを合成するための新しいチューニング不要パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:07:31Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Energy-Inspired Self-Supervised Pretraining for Vision Models [36.70550531181131]
  エネルギーベースモデル(EBM)にインスパイアされた自己教師型ビジョンモデル事前学習フレームワークを導入する。 提案手法では,1つのネットワークの前方・後方通過としてエネルギー推定とデータ復元をモデル化する。 提案手法は,学習のエポックを極端に少なくして,同等で,さらに優れた性能を提供できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T19:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。