論文の概要: Self-supervised Light Field View Synthesis Using Cycle Consistency
- arxiv url: http://arxiv.org/abs/2008.05084v1
- Date: Wed, 12 Aug 2020 03:20:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 05:49:21.346855
- Title: Self-supervised Light Field View Synthesis Using Cycle Consistency
- Title（参考訳）: サイクル一貫性を用いた自己監督光視野合成
- Authors: Yang Chen, Martin Alain, Aljosa Smolic
- Abstract要約: サイクル整合性を有する自己教師付き光場ビュー合成フレームワークを提案する。
サイクル一貫性制約は、生成されたビューを入力ビューと整合させるマッピングを構築するために使用される。
その結果、特に複数の中間ビューを生成する場合、最先端の光場ビュー合成法よりも優れた結果が得られた。
- 参考スコア（独自算出の注目度）: 22.116100469958436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High angular resolution is advantageous for practical applications of light
fields. In order to enhance the angular resolution of light fields, view
synthesis methods can be utilized to generate dense intermediate views from
sparse light field input. Most successful view synthesis methods are
learning-based approaches which require a large amount of training data paired
with ground truth. However, collecting such large datasets for light fields is
challenging compared to natural images or videos. To tackle this problem, we
propose a self-supervised light field view synthesis framework with cycle
consistency. The proposed method aims to transfer prior knowledge learned from
high quality natural video datasets to the light field view synthesis task,
which reduces the need for labeled light field data. A cycle consistency
constraint is used to build bidirectional mapping enforcing the generated views
to be consistent with the input views. Derived from this key concept, two loss
functions, cycle loss and reconstruction loss, are used to fine-tune the
pre-trained model of a state-of-the-art video interpolation method. The
proposed method is evaluated on various datasets to validate its robustness,
and results show it not only achieves competitive performance compared to
supervised fine-tuning, but also outperforms state-of-the-art light field view
synthesis methods, especially when generating multiple intermediate views.
Besides, our generic light field view synthesis framework can be adopted to any
pre-trained model for advanced video interpolation.
- Abstract（参考訳）: 高角分解能は光場の実用的応用に有利である。
光場の角分解能を高めるために、ビュー合成法を用いてスパース光場入力から濃密な中間ビューを生成することができる。
最も成功したビュー合成手法は学習に基づくアプローチであり、基底真理と組み合わせた大量のトレーニングデータを必要とする。
しかし、このような大規模なデータセットの収集は、自然画像やビデオと比較して困難である。
この問題に対処するために、サイクル整合性を有する自己教師付き光場ビュー合成フレームワークを提案する。
提案手法は,高品質自然映像データセットから学習した先行知識を光フィールドビュー合成タスクに転送することを目的としており,ラベル付き光フィールドデータの必要性を低減している。
サイクル一貫性制約は、生成されたビューを入力ビューと整合させる双方向マッピングを構築するために使用される。
この鍵となる概念から導かれる2つの損失関数、すなわちサイクル損失と再構成損失は、最先端のビデオ補間法の訓練済みモデルを微調整するために用いられる。
提案手法は, その頑健性を評価するために, 各種データセット上で評価され, 教師付き微調整に比べて競争性能が向上するだけでなく, 特に複数の中間ビューの生成において, 最先端の光視野合成法よりも優れていた。
また、先進的なビデオ補間のための事前訓練されたモデルにも、汎用光界ビュー合成フレームワークを適用できる。
関連論文リスト
- Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture [0.7499722271664147]
単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。
そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。
提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。
論文 参考訳（メタデータ） (2024-09-27T14:15:02Z) - ViewFusion: Learning Composable Diffusion Models for Novel View
Synthesis [47.57948804514928]
この研究は、新しいビュー合成に対する最先端のエンドツーエンド生成アプローチであるViewFusionを導入している。
ViewFusionは、シーンの任意の入力ビューに拡散デノゲーションステップを同時に適用する。
論文 参考訳（メタデータ） (2024-02-05T11:22:14Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - Reconstructing Continuous Light Field From Single Coded Image [7.937367109582907]
本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。
カメラに実装された共同開口露光符号化により、3次元シーン情報の観察画像への効果的な埋め込みが可能となる。
NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にする。
論文 参考訳（メタデータ） (2023-11-16T07:59:01Z) - ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real
Novel View Synthesis via Contrastive Learning [102.46382882098847]
まず,合成から現実への新規な視点合成における合成データの影響について検討した。
本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。
提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
論文 参考訳（メタデータ） (2023-03-20T12:06:14Z) - HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。
視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。
我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
論文 参考訳（メタデータ） (2022-10-10T09:43:26Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳（メタデータ） (2022-07-10T13:47:20Z) - Content-aware Warping for View Synthesis [110.54435867693203]
本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。
この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。
広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2022-01-22T11:35:05Z) - Light Field Neural Rendering [47.7586443731997]
幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。
強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。
我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
論文 参考訳（メタデータ） (2021-12-17T18:58:05Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。