論文の概要: RGFVR: Reference-Guided Face Video Restoration with Flow Matching
- arxiv url: http://arxiv.org/abs/2606.16401v1
- Date: Mon, 15 Jun 2026 08:39:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.244029
- Title: RGFVR: Reference-Guided Face Video Restoration with Flow Matching
- Title(参考訳): RGFVR:フローマッチングによる参照誘導顔ビデオ再生
- Authors: Cem Eteke, Batuhan Tosun, Eckehard Steinbach,
- Abstract要約: 顔画像復元のための主観的参照誘導フレームワークを提案する。
本手法は,事前学習したフローベーステキスト・ツー・ビデオ・ジェネレータにバイモーダル・パースペクティブ・ディスクリプティブ・アイデンティティ・コンディショニングを導入する。
実験により,本手法は修復の忠実度,時間的整合性,アイデンティティの保存性を向上することが示された。
- 参考スコア(独自算出の注目度): 0.5607590231264274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face video restoration from degraded observations is challenging, as it requires simultaneously recovering visual fidelity, temporal consistency, and subject identity. Existing approaches are often either reference-free, which can lead to identity loss when person-specific facial details are lost, or subject-specific, which limits generalization to unseen identities. We propose a subject-agnostic, reference-guided framework for identity-preserving face video restoration. Our method introduces bimodal perceptual-descriptive identity conditioning into a pretrained flow-based text-to-video generator and employs a two-stage training strategy to strengthen identity guidance during restoration. Experiments show that our approach improves restoration fidelity, temporal consistency, and identity preservation, achieving superior performance under challenging video degradations, including downsampling, blur, noise, and compression artifacts. The code is available under: https://github.com/batuhanntosun/RG-FVR.
- Abstract(参考訳): 視力、時間的整合性、主観的アイデンティティを同時に回復する必要があるため、劣化した観察から顔映像を復元することは困難である。
既存のアプローチは、しばしば参照なしであり、個人固有の顔の詳細が失われるとアイデンティティが失われる可能性がある。
顔画像復元のための主観的参照誘導フレームワークを提案する。
そこで本手法では,2段階のトレーニング戦略を用いて,2段階の認識・記述型識別条件を予め訓練したフローベーステキスト・ビデオ生成装置に導入する。
実験により, ダウンサンプリング, ブラー, ノイズ, 圧縮アーティファクトなど, 難易度の高い映像劣化において, 復元精度, 時間的整合性, アイデンティティの保存性を向上し, 優れた性能が得られることが示された。
コードはhttps://github.com/batuhanntosun/RG-FVR.comで入手できる。
関連論文リスト
- Spatial-Temporal Decoupled Reference Conditioning for Identity-Preserving Text-to-Video Generation [79.94088803584262]
アイデンティティ保存ビデオ生成(IPVG)は、参照IDを保持しながらテキストプロンプトに従う高忠実度ビデオの合成を目的としている。
そこで我々は,ST-DRCを提案する。ST-DRCは,個人認証を保存したテキスト・ビデオ生成のための効果的な空間的疎結合参照条件作成フレームワークである。
LTX-2.3 上に構築した軽量な設計により,ST-DRC は強いアイデンティティ保存,迅速なアライメント,時間的整合性,映像品質を実現する。
論文 参考訳(メタデータ) (2026-06-01T16:12:18Z) - Preserving Source Video Realism: High-Fidelity Face Swapping for Cinematic Quality [48.231357260785195]
リビングスワップ(LivingSwap)は、最初のビデオ参照ガイド付き顔交換モデルである。
ビデオコンディショニングとビデオレファレンスガイダンスを組み合わせることで、時間的縫合を行い、安定したアイデンティティと高忠実度再構成を実現する。
本手法は,映像の表現,照明,動きとターゲットの同一性を統合し,手動による製作作業を大幅に削減する。
論文 参考訳(メタデータ) (2025-12-08T19:00:04Z) - CodeFormer++: Blind Face Restoration Using Deformable Registration and Deep Metric Learning [1.1666234644810893]
CodeFormer++は、アイデンティティを保ちながら、高品質な顔復元のための生成前駆体の有用性を最大化する、新しいフレームワークである。
筆者らは,(1) 生成顔と復元顔とを意味的に整合させる学習型変形可能な顔登録モジュール,(2) 生成顔のテクスチャを動的に抽出し,保存した顔の質を高めるためのテクスチャガイド付き復元ネットワーク,(3) 情報的正負のサンプルとBFRの深部メートル法学習の統合により,識別・保存・生成機能の融合を図る。
論文 参考訳(メタデータ) (2025-10-06T00:53:50Z) - From Large Angles to Consistent Faces: Identity-Preserving Video Generation via Mixture of Facial Experts [69.44297222099175]
顔の特徴の異なるが相互に強化された側面を捉えた顔専門家の混合(MoFE)を導入する。
データセットの制限を軽減するため、私たちは、Face ConstraintsとIdentity Consistencyという2つの重要な側面を中心としたデータ処理パイプラインを調整しました。
我々は、既存のオープンソースヒューマンビデオデータセットからLFA(Large Face Angles)データセットをキュレートし、洗練しました。
論文 参考訳(メタデータ) (2025-08-13T04:10:16Z) - Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning [56.62425904247682]
各種のストリーミングビデオ歪みに対処するGAVN(General Audio-assisted Face Video Restoration Network)を提案する。
GAVNはまず、低解像度空間におけるフレーム間の時間的特徴をキャプチャし、フレームを粗く復元し、計算コストを節約する。
最後に、再構成モジュールは時間的特徴とアイデンティティ機能を統合し、高品質な顔ビデオを生成する。
論文 参考訳(メタデータ) (2025-08-06T07:38:27Z) - Show and Polish: Reference-Guided Identity Preservation in Face Video Restoration [9.481604837168762]
Face Video Restoration (FVR)は、劣化したバージョンから高品質な顔ビデオを取り戻すことを目的としている。
従来の方法は、劣化が深刻であるときに、細粒でアイデンティティ固有の特徴を保存するのに苦労する。
視覚的プロンプトとして高品質な参照顔画像を活用する新しい手法であるIP-FVRを導入する。
論文 参考訳(メタデータ) (2025-07-14T14:01:37Z) - Reference-Guided Identity Preserving Face Restoration [54.10295747851343]
顔のアイデンティティを保存することは、拡散に基づく画像復元において重要な課題である。
本稿では,顔の復元とアイデンティティの保存を改善するために,参照顔の有用性を最大化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2025-05-28T02:46:34Z) - EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion [3.592206475366951]
既存の手法は「コピー・ペースト」アーティファクトと類似性の低い問題に苦しむ。
テキストから高レベルなセマンティック機能を統合して、クリーンな顔認証表現をキャプチャするEchoVideoを提案する。
高品質で制御性があり、忠実なビデオを生成するのに優れた結果をもたらす。
論文 参考訳(メタデータ) (2025-01-23T08:06:11Z) - SVFR: A Unified Framework for Generalized Video Face Restoration [86.17060212058452]
顔復元(FR)は画像およびビデオ処理において重要な領域であり、劣化した入力から高品質な肖像画を再構成することに焦点を当てている。
本稿では,映像BFR,インペイント,カラー化タスクを統合した汎用映像顔復元タスクを提案する。
この研究は、ビデオFRにおける最先端技術を進め、一般化されたビデオ顔の復元のための新しいパラダイムを確立する。
論文 参考訳(メタデータ) (2025-01-02T12:51:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。