論文の概要: EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
- arxiv url: http://arxiv.org/abs/2404.09918v1
- Date: Mon, 15 Apr 2024 16:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:37:46.235358
- Title: EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
- Title（参考訳）: EdgeRelight360:リアルタイムオンデバイス画像ライティングのためのテキストコンディション360度HDR画像生成
- Authors: Min-Hui Lin, Mahesh Reddy, Guillaume Berger, Michel Sarkis, Fatih Porikli, Ning Bi,
- Abstract要約: We present EdgeRelight360, an approach for real-time video portrait relighting on mobile devices。
そこで本研究では,拡散に基づくテキストから360度の画像生成手法を提案する。
私たちのアプローチは、ビデオ会議、ゲーム、拡張現実など、リアルタイムビデオアプリケーションにおける新たな可能性の道を開くものです。
- 参考スコア（独自算出の注目度）: 38.02634173178839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present EdgeRelight360, an approach for real-time video portrait relighting on mobile devices, utilizing text-conditioned generation of 360-degree high dynamic range image (HDRI) maps. Our method proposes a diffusion-based text-to-360-degree image generation in the HDR domain, taking advantage of the HDR10 standard. This technique facilitates the generation of high-quality, realistic lighting conditions from textual descriptions, offering flexibility and control in portrait video relighting task. Unlike the previous relighting frameworks, our proposed system performs video relighting directly on-device, enabling real-time inference with real 360-degree HDRI maps. This on-device processing ensures both privacy and guarantees low runtime, providing an immediate response to changes in lighting conditions or user inputs. Our approach paves the way for new possibilities in real-time video applications, including video conferencing, gaming, and augmented reality, by allowing dynamic, text-based control of lighting conditions.
- Abstract（参考訳）: 本稿では,360度高ダイナミックレンジ画像(HDRI)のテキストコンディション生成を利用した,モバイルデバイス上でのリアルタイム映像ライティング手法であるEdgeRelight360を提案する。
提案手法は,HDR10標準を利用して,HDR領域における拡散型テキスト-360度画像生成を提案する。
この技術は、テキスト記述から高品質でリアルな照明条件の生成を容易にし、ポートレートビデオのリライティングタスクにおける柔軟性と制御を提供する。
従来のリライティングフレームワークとは異なり,提案システムはデバイス上で直接ビデオリライティングを行い,リアルタイムな360度HDRIマップの推測を可能にする。
このオンデバイス処理は、プライバシと低ランタイムの両方を保証し、照明条件やユーザ入力の変更に対する即時応答を提供する。
当社のアプローチは,映像会議やゲーム,拡張現実といったリアルタイムビデオアプリケーションにおいて,動的かつテキストによる照明条件の制御を可能にすることによって,新たな可能性の道を開くものだ。
関連論文リスト
- Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。
我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。
本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
論文 参考訳（メタデータ） (2024-10-24T01:34:11Z) - Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video Enhancement [44.1973928137492]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳（メタデータ） (2024-02-03T00:40:22Z) - VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。
特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。
我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
論文 参考訳（メタデータ） (2023-12-03T14:14:35Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳（メタデータ） (2023-11-15T10:33:20Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Text2Light: Zero-Shot Text-Driven HDR Panorama Generation [33.968466900204696]
我々は,ペアのトレーニングデータなしで4K+解像度のHDRIを生成するために,ゼロショットのテキスト駆動フレームワークであるText2Lightを提案する。
ゼロショットテキスト駆動パノラマ生成を実現するために,我々はまず,多様な環境テクスチャの個別表現として2つのコードブックを構築した。
超高分解能逆トーンマッピングを実現するため,LDRパノラマから360度画像の連続表現を導出した。
論文 参考訳（メタデータ） (2022-09-20T17:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。