論文の概要: FlowPortal: Residual-Corrected Flow for Training-Free Video Relighting and Background Replacement
- arxiv url: http://arxiv.org/abs/2511.18346v1
- Date: Sun, 23 Nov 2025 08:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.791987
- Title: FlowPortal: Residual-Corrected Flow for Training-Free Video Relighting and Background Replacement
- Title(参考訳): FlowPortal: トレーニング不要のビデオリライトとバックグラウンドリプレースのための残留補正フロー
- Abstract要約: FlowPortalは、トレーニング不要のフローベースのビデオリライトフレームワークである。
私たちの中心となるイノベーションは、標準フローベースのモデルを編集モデルに変換するResidual-Corrected Flowメカニズムです。
実験により、FlowPortalは時間的コヒーレンス、構造保存、照明リアリズムにおいて優れた性能を発揮することが示された。
- 参考スコア(独自算出の注目度): 9.038689270820258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video relighting with background replacement is a challenging task critical for applications in film production and creative media. Existing methods struggle to balance temporal consistency, spatial fidelity, and illumination naturalness. To address these issues, we introduce FlowPortal, a novel training-free flow-based video relighting framework. Our core innovation is a Residual-Corrected Flow mechanism that transforms a standard flow-based model into an editing model, guaranteeing perfect reconstruction when input conditions are identical and enabling faithful relighting when they differ, resulting in high structural consistency. This is further enhanced by a Decoupled Condition Design for precise lighting control and a High-Frequency Transfer mechanism for detail preservation. Additionally, a masking strategy isolates foreground relighting from background pure generation process. Experiments demonstrate that FlowPortal achieves superior performance in temporal coherence, structural preservation, and lighting realism, while maintaining high efficiency. Project Page: https://gaowenshuo.github.io/FlowPortalProject/.
- Abstract(参考訳): 背景交換によるビデオのリライティングは、映画制作やクリエイティブメディアにおけるアプリケーションにとって重要な課題である。
既存の方法は、時間的一貫性、空間的忠実さ、照明自然さのバランスをとるのに苦労している。
これらの問題に対処するために,フローベースの新しいトレーニングフリーなビデオリライトフレームワークであるFlowPortalを紹介した。
我々の中核的な革新はResidual-Corrected Flowメカニズムであり、標準的なフローベースモデルを編集モデルに変換し、入力条件が同一であれば完全な再構築を保証し、異なる場合には忠実なリライトを可能にし、構造的な一貫性をもたらす。
これは、正確な照明制御のための分離条件設計と、詳細保存のための高周波転送機構によってさらに強化される。
さらに、マスキング戦略は、背景純生成プロセスから前景照準を分離する。
実験により、FlowPortalは、高効率を維持しながら、時間的コヒーレンス、構造保存、照明リアリズムにおいて優れた性能を発揮することが示された。
Project Page: https://gaowenshuo.github.io/FlowPortalProject/.com
関連論文リスト
- Bridging Event Streams and DiT: Event-Guided Video Frame Interpolation [75.95737622994548]
イベントカメラは、時間的ギャップを埋めるのに適した高解像度モーションキューを提供する。
本稿では,イベント由来のキューを事前学習した画像間拡散モデルに組み込むアダプタベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-11T04:47:44Z) - LiveLight: Real-time Streaming Video Relighting with Interactive Control [50.08584152649119]
インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。
実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
論文 参考訳(メタデータ) (2026-08-03T06:45:00Z) - PAI-Studio: Cinematic Video Background Replacement with Camera-Aware Motion [51.8637101384136]
我々は,新しい参照条件付きビデオ合成タスクであるPAI-Studioを提案する。
前景の身元を保ちながら前景の動きに合わせて動的背景を生成する。
さらに、高品質な映画やオンラインビデオから得られた30Kスケールのデータセットを構築し、このタスクをサポートする。
論文 参考訳(メタデータ) (2026-05-31T18:45:11Z) - VibeFlow: Versatile Video Chroma-Lux Editing through Self-Supervised Learning [31.16852887085847]
本稿では,クロマックス編集のための自己教師型フレームワークであるVibeFlowを提案する。
我々は、ソースビデオから構造を適応的に再結合し、参照画像から色を照らすようにモデルを強制する不整合データパイプラインを導入する。
我々のフレームワークは、ビデオのリライティング、リカラー化、低照度化、昼夜翻訳、オブジェクト固有の色編集など、多様な用途にゼロショット方式で一般化する。
論文 参考訳(メタデータ) (2026-04-15T02:51:26Z) - SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing [9.343095346668665]
SteerFlowはモデルに依存しない編集フレームワークで、ソースの忠実性に関する強力な理論的保証がある。
本稿では,ターゲット編集速度とソース再構成速度を適応的にブレンドして,編集軌道をソースに固定するトラジェクトリ補間法を提案する。
FLUX.1-devとStable Diffusion 3.5 Mediumの実験では、SteerFlowは既存の方法よりも優れた編集品質を実現している。
論文 参考訳(メタデータ) (2026-04-02T07:26:13Z) - RenderFlow: Single-Step Neural Rendering via Flow Matching [17.56739408578129]
本稿では,フローマッチングパラダイムに基づいて構築された,エンドツーエンド,決定論的,単一ステップのニューラルレンダリングフレームワークRenderFlowを提案する。
本手法はレンダリング処理を大幅に高速化し,出力の物理的妥当性と全体的な視覚的品質を向上する。
結果として得られるパイプラインは、フォトリアリスティックなレンダリング品質でほぼリアルタイムのパフォーマンスを実現し、現代の生成モデルの効率と従来の物理ベースのレンダリングの精度とのギャップを効果的に埋める。
論文 参考訳(メタデータ) (2026-01-11T14:28:46Z) - Light-X: Generative 4D Video Rendering with Camera and Illumination Control [52.87059646145144]
Light-Xは、視点制御と照明制御の両方でモノクロビデオから制御可能なレンダリングを可能にする、ビデオ生成フレームワークである。
マルチビューとマルチイルミネーションのペアビデオの欠如に対処するために,逆マッピングを備えた劣化ベースのパイプラインであるLight-Synを導入する。
論文 参考訳(メタデータ) (2025-12-04T18:59:57Z) - UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback [31.03901228901908]
画像とビデオの両方に統一されたリライトフレームワークUniLumosを提案する。
我々は、照明効果をシーン構造と明確に一致させ、物理的妥当性を高める。
実験により、UniLumosは物理的な一貫性を大幅に改善して最先端のリライトを実現している。
論文 参考訳(メタデータ) (2025-11-03T15:41:41Z) - DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。
我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。
フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
論文 参考訳(メタデータ) (2025-08-11T09:54:45Z) - Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement [2.9695823613761316]
低照度と水中のビデオは視界が悪く、コントラストが低く、ノイズが高い。
既存のアプローチは通常、ペア化された基底真理に依存しており、実際性は制限され、しばしば時間的一貫性の維持に失敗する。
本稿では、Retinex理論と光フロー技術を活用したゼロショット学習手法Zero-TIGを提案する。
論文 参考訳(メタデータ) (2025-03-14T08:22:26Z) - Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。
Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
論文 参考訳(メタデータ) (2025-02-12T17:24:19Z) - RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。
バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。
内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
論文 参考訳(メタデータ) (2025-01-27T18:59:57Z) - Coherent Video Inpainting Using Optical Flow-Guided Efficient Diffusion [15.188335671278024]
高速な映像コヒーレンスを実現するために,光フロー誘導効率拡散(FloED)を用いた新しい映像インペイントフレームワークを提案する。
FloEDはデュアルブランチアーキテクチャを採用しており、時間に依存しないフローブランチが最初に破損したフローを復元し、マルチスケールフローアダプタがメインの塗装ブランチにモーションガイダンスを提供する。
背景復元およびオブジェクト除去タスクの実験では、FloEDは最先端の拡散法よりも品質と効率の両方で優れていた。
論文 参考訳(メタデータ) (2024-12-01T15:45:26Z) - Taming Rectified Flow for Inversion and Editing [57.3742655030493]
FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。
その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。
本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
論文 参考訳(メタデータ) (2024-11-07T14:29:02Z) - UniVST: A Unified Framework for Training-free Localized Video Style Transfer [102.52552893495475]
本稿では拡散モデルに基づく局所化ビデオスタイル転送のための統一フレームワークUniVSTを提案する。
トレーニングを必要とせずに動作し、ビデオ全体にわたってスタイルを転送する既存の拡散方法に対して、明確なアドバンテージを提供する。
論文 参考訳(メタデータ) (2024-10-26T05:28:02Z) - Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement [48.76608212565327]
本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。
低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。
本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
論文 参考訳(メタデータ) (2024-08-22T11:45:11Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。
本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。
我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
論文 参考訳(メタデータ) (2024-05-24T15:56:40Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2021-04-01T14:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。