論文の概要: UniFlowRestore: A General Video Restoration Framework via Flow Matching and Prompt Guidance

• arxiv url: http://arxiv.org/abs/2504.09069v1
• Date: Sat, 12 Apr 2025 04:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:27.651846
• Title: UniFlowRestore: A General Video Restoration Framework via Flow Matching and Prompt Guidance
• Title（参考訳）: UniFlowRestore: フローマッチングとプロンプトガイダンスによる一般的なビデオ復元フレームワーク
• Authors: Shuning Sun, Yu Zhang, Chen Wu, Dianjie Lu, Dianjie Lu, Guijuan Zhan, Yang Weng, Zhuoran Zheng,
• Abstract要約: ビデオ画像は、しばしばぼやけ、ノイズ、圧縮アーティファクトなどの複雑な劣化によって影響を受ける。 伝統的な復元手法は「単一タスクの単一モデル」パラダイムに従っており、結果として一般化が貧弱で計算コストが高い。 提案するUniFlowRestoreは,プロンプト誘導ベクトル場下での時間連続進化として復元をモデル化する一般的なビデオ復元フレームワークである。
• 参考スコア（独自算出の注目度）: 13.013102131956716
• License:
• Abstract: Video imaging is often affected by complex degradations such as blur, noise, and compression artifacts. Traditional restoration methods follow a "single-task single-model" paradigm, resulting in poor generalization and high computational cost, limiting their applicability in real-world scenarios with diverse degradation types. We propose UniFlowRestore, a general video restoration framework that models restoration as a time-continuous evolution under a prompt-guided and physics-informed vector field. A physics-aware backbone PhysicsUNet encodes degradation priors as potential energy, while PromptGenerator produces task-relevant prompts as momentum. These components define a Hamiltonian system whose vector field integrates inertial dynamics, decaying physical gradients, and prompt-based guidance. The system is optimized via a fixed-step ODE solver to achieve efficient and unified restoration across tasks. Experiments show that UniFlowRestore delivers stateof-the-art performance with strong generalization and efficiency. Quantitative results demonstrate that UniFlowRestore achieves state-of-the-art performance, attaining the highest PSNR (33.89 dB) and SSIM (0.97) on the video denoising task, while maintaining top or second-best scores across all evaluated tasks.
• Abstract（参考訳）: ビデオ画像は、しばしばぼやけ、ノイズ、圧縮アーティファクトなどの複雑な劣化によって影響を受ける。 伝統的な復元手法は「単一タスクの単一モデル」パラダイムに従っており、結果として一般化の貧弱さと計算コストが高くなり、様々な劣化型を持つ現実世界のシナリオで適用性が制限される。 提案するUniFlowRestoreは,高速かつ物理インフォームドなベクトル場の下で,復元を時間連続進化としてモデル化する一般的なビデオ復元フレームワークである。 物理を意識したバックボーン物理UNetは劣化先行をポテンシャルエネルギーとしてエンコードし、PromptGeneratorはタスク関連プロンプトを運動量として生成する。 これらの成分は、ベクトル場が慣性力学、減衰する物理的勾配、およびプロンプトに基づくガイダンスを統合するハミルトニアン系を定義する。 このシステムは固定ステップODEソルバによって最適化され、タスク間の効率よく統一された復元を実現する。 実験によると、UniFlowRestoreは高度な一般化と効率性を備えた最先端のパフォーマンスを提供する。 定量的な結果から,UniFlowRestoreはPSNR (33.89 dB) とSSIM (0.97) を高い精度で達成し,評価されたタスクの上位あるいは第2のスコアを維持した。

関連論文リスト

• Improving Video Generation with Human Feedback [81.48120703718774]
  ビデオ生成は大きな進歩を遂げているが、動画とプロンプト間の不規則な動きや不一致といった問題が続いている。 我々は、人間のフィードバックを利用してこれらの問題を緩和し、ビデオ生成モデルを洗練する体系的なパイプラインを開発する。 多次元ビデオ報酬モデルであるVideoRewardを導入し、アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Boosting Visual Recognition in Real-world Degradations via Unsupervised Feature Enhancement Module with Deep Channel Prior [22.323789227447755]
  霧、低照度、動きのぼかしは画像の品質を低下させ、自動運転の安全性を脅かす。 本研究は、劣化した視覚認識のための新しいDeep Channel Prior (DCP)を提案する。 これに基づいて、教師なし特徴補正を実現するために、新しいプラグアンドプレイunsupervised Feature Enhancement Module (UFEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T07:16:56Z)
• HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models [38.74983301496911]
  ハイパースペクトル画像(HSI)の復元は、劣化した観察からクリーンなイメージを復元することを目的としている。 既存のモデルに基づく手法は、複雑な画像の特徴を正確にモデル化するのに限界がある。 本稿では,事前学習拡散モデル(HIR-Diff)を用いた教師なしHSI復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T17:15:05Z)
• FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring [28.626224230377108]
  本稿では,高分解能ビデオと高分解能ビデオとの連成学習手法であるVSRDBを,ぼやけた低分解能ビデオから復元する手法を提案する。 本稿では,フロー誘導動的フィルタリング(FGDF)とマルチアテンション(FRMA)フレームワークを用いた反復的特徴改善を提案する。
  論文  参考訳（メタデータ） (2024-01-08T07:34:43Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。