論文の概要: EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
- arxiv url: http://arxiv.org/abs/2404.09918v1
- Date: Mon, 15 Apr 2024 16:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:37:46.235358
- Title: EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
- Title(参考訳): EdgeRelight360:リアルタイムオンデバイス画像ライティングのためのテキストコンディション360度HDR画像生成
- Authors: Min-Hui Lin, Mahesh Reddy, Guillaume Berger, Michel Sarkis, Fatih Porikli, Ning Bi,
- Abstract要約: We present EdgeRelight360, an approach for real-time video portrait relighting on mobile devices。
そこで本研究では,拡散に基づくテキストから360度の画像生成手法を提案する。
私たちのアプローチは、ビデオ会議、ゲーム、拡張現実など、リアルタイムビデオアプリケーションにおける新たな可能性の道を開くものです。
- 参考スコア(独自算出の注目度): 38.02634173178839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present EdgeRelight360, an approach for real-time video portrait relighting on mobile devices, utilizing text-conditioned generation of 360-degree high dynamic range image (HDRI) maps. Our method proposes a diffusion-based text-to-360-degree image generation in the HDR domain, taking advantage of the HDR10 standard. This technique facilitates the generation of high-quality, realistic lighting conditions from textual descriptions, offering flexibility and control in portrait video relighting task. Unlike the previous relighting frameworks, our proposed system performs video relighting directly on-device, enabling real-time inference with real 360-degree HDRI maps. This on-device processing ensures both privacy and guarantees low runtime, providing an immediate response to changes in lighting conditions or user inputs. Our approach paves the way for new possibilities in real-time video applications, including video conferencing, gaming, and augmented reality, by allowing dynamic, text-based control of lighting conditions.
- Abstract(参考訳): 本稿では,360度高ダイナミックレンジ画像(HDRI)のテキストコンディション生成を利用した,モバイルデバイス上でのリアルタイム映像ライティング手法であるEdgeRelight360を提案する。
提案手法は,HDR10標準を利用して,HDR領域における拡散型テキスト-360度画像生成を提案する。
この技術は、テキスト記述から高品質でリアルな照明条件の生成を容易にし、ポートレートビデオのリライティングタスクにおける柔軟性と制御を提供する。
従来のリライティングフレームワークとは異なり,提案システムはデバイス上で直接ビデオリライティングを行い,リアルタイムな360度HDRIマップの推測を可能にする。
このオンデバイス処理は、プライバシと低ランタイムの両方を保証し、照明条件やユーザ入力の変更に対する即時応答を提供する。
当社のアプローチは,映像会議やゲーム,拡張現実といったリアルタイムビデオアプリケーションにおいて,動的かつテキストによる照明条件の制御を可能にすることによって,新たな可能性の道を開くものだ。
関連論文リスト
- BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video
Enhancement [47.41699406259656]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳(メタデータ) (2024-02-03T00:40:22Z) - VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。
特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。
我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
論文 参考訳(メタデータ) (2023-12-03T14:14:35Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザのビデオをキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳(メタデータ) (2023-11-15T10:33:20Z) - Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended
Reality [65.70936336240554]
リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。
最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。
室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。
これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
論文 参考訳(メタデータ) (2023-09-08T07:53:58Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Multi-Camera Lighting Estimation for Photorealistic Front-Facing Mobile
Augmented Reality [6.41726492515401]
照明理解は、モバイル拡張現実(AR)アプリケーションを含む仮想オブジェクト合成において重要な役割を果たす。
本稿では,マルチビュー照明再構成とパラメトリック指向性照明推定を組み合わせることで,デュアルカメラストリーミングを活用して高品質な環境マップを作成することを提案する。
論文 参考訳(メタデータ) (2023-01-15T16:52:59Z) - Text2Light: Zero-Shot Text-Driven HDR Panorama Generation [33.968466900204696]
我々は,ペアのトレーニングデータなしで4K+解像度のHDRIを生成するために,ゼロショットのテキスト駆動フレームワークであるText2Lightを提案する。
ゼロショットテキスト駆動パノラマ生成を実現するために,我々はまず,多様な環境テクスチャの個別表現として2つのコードブックを構築した。
超高分解能逆トーンマッピングを実現するため,LDRパノラマから360度画像の連続表現を導出した。
論文 参考訳(メタデータ) (2022-09-20T17:58:44Z) - Deep Parametric 3D Filters for Joint Video Denoising and Illumination
Enhancement in Video Super Resolution [96.89588203312451]
本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。
DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。
また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
論文 参考訳(メタデータ) (2022-07-05T03:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。