論文の概要: Stereo Magnification with Multi-Layer Images
- arxiv url: http://arxiv.org/abs/2201.05023v1
- Date: Thu, 13 Jan 2022 15:19:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 20:13:15.389479
- Title: Stereo Magnification with Multi-Layer Images
- Title（参考訳）: 多層画像によるステレオ拡大
- Authors: Taras Khakhulin, Denis Korzhenkov, Pavel Solovev, Gleb Sterkin,
Timotei Ardelean, Victor Lempitsky
- Abstract要約: シーン適応幾何を用いた複数の半透明層に基づく新しいビュー合成手法を提案する。
提案手法は2段階のステレオ対からそのような表現を推論する。
実験では,正規空間層の利用に対する提案手法の利点を実証する。
- 参考スコア（独自算出の注目度）: 7.20447989181373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representing scenes with multiple semi-transparent colored layers has been a
popular and successful choice for real-time novel view synthesis. Existing
approaches infer colors and transparency values over regularly-spaced layers of
planar or spherical shape. In this work, we introduce a new view synthesis
approach based on multiple semi-transparent layers with scene-adapted geometry.
Our approach infers such representations from stereo pairs in two stages. The
first stage infers the geometry of a small number of data-adaptive layers from
a given pair of views. The second stage infers the color and the transparency
values for these layers producing the final representation for novel view
synthesis. Importantly, both stages are connected through a differentiable
renderer and are trained in an end-to-end manner. In the experiments, we
demonstrate the advantage of the proposed approach over the use of
regularly-spaced layers with no adaptation to scene geometry. Despite being
orders of magnitude faster during rendering, our approach also outperforms a
recently proposed IBRNet system based on implicit geometry representation. See
results at https://samsunglabs.github.io/StereoLayers .
- Abstract（参考訳）: 複数の半透明な色の層を持つシーンを表現することは、リアルタイムの新規なビュー合成に人気があり、成功している。
既存のアプローチは、平面または球面形状の定期的な間隔の層上の色と透明性値を推定する。
本研究では,シーン適応幾何を持つ複数の半透明層に基づく新しいビュー合成手法を提案する。
提案手法は2段階のステレオ対からそのような表現を推論する。
第1段階では、与えられた一対のビューから少数のデータ適応層の幾何学を推測する。
第2段階は、これらの層の色と透明性値を推定し、新しいビュー合成のための最終的な表現を生成する。
重要なことに、両方のステージは微分可能なレンダラを介して接続され、エンドツーエンドでトレーニングされる。
実験では,シーン幾何学に適応しない定期的空間層の利用に対して,提案手法の利点を実証した。
レンダリングでは桁違いに高速であるにもかかわらず,最近提案された暗黙的幾何表現に基づく IBRNet システムよりも優れている。
結果はhttps://samsunglabs.github.io/StereoLayersで確認できます。
関連論文リスト
- Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。
我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。
私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
論文 参考訳（メタデータ） (2023-04-20T04:05:22Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-04-17T17:40:52Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - WALDO: Future Video Synthesis using Object Layer Decomposition and
Parametric Flow Prediction [82.79642869586587]
WALDOは、過去のビデオフレームを予測するための新しいアプローチである。
個々の画像は、オブジェクトマスクと小さなコントロールポイントのセットを組み合わせた複数の層に分解される。
レイヤ構造は、各ビデオ内のすべてのフレーム間で共有され、フレーム間の密接な接続を構築する。
論文 参考訳（メタデータ） (2022-11-25T18:59:46Z) - Self-improving Multiplane-to-layer Images for Novel View Synthesis [3.9901365062418312]
本稿では,任意の前向きシーンに一般化する軽量ノベルビュー合成法を提案する。
まず、フロント並列半透明平面を用いてシーンを表現し、その後、エンド・ツー・エンドで変形可能なレイヤに変換する。
本手法では,新しいシーンが処理された場合の微調整を必要とせず,制限なく任意の数のビューを処理できる。
論文 参考訳（メタデータ） (2022-10-04T13:27:14Z) - Single-View View Synthesis in the Wild with Learned Adaptive Multiplane
Images [15.614631883233898]
既存の手法では, 単分子深度推定と層状深度表現による色塗布による有望な結果が示されている。
マルチプレーン画像(MPI)表現に基づく新しい手法を提案する。
合成データと実データの両方の実験により、我々のトレーニングされたモデルは驚くほどうまく機能し、最先端の結果が得られます。
論文 参考訳（メタデータ） (2022-05-24T02:57:16Z) - NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。
我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。
インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
論文 参考訳（メタデータ） (2021-05-15T01:20:30Z) - TRANSPR: Transparency Ray-Accumulating Neural 3D Scene Point Renderer [6.320273914694594]
本稿では,半透明シーンをモデル化可能なニューラルポイントベースグラフィックス手法を提案し,評価する。
半透明な点雲のシーンの新たなビューは、我々のアプローチでトレーニングした後に生成できることを示す。
論文 参考訳（メタデータ） (2020-09-06T21:19:18Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳（メタデータ） (2020-08-12T18:16:08Z) - Single-View View Synthesis with Multiplane Images [64.46556656209769]
深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
論文 参考訳（メタデータ） (2020-04-23T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。