論文の概要: Progressive Image Restoration via Text-Conditioned Video Generation

• arxiv url: http://arxiv.org/abs/2512.02273v1
• Date: Mon, 01 Dec 2025 23:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.648348
• Title: Progressive Image Restoration via Text-Conditioned Video Generation
• Title（参考訳）: テキスト合成映像生成によるプログレッシブ画像復元
• Authors: Peng Kang, Xijun Wang, Yu Yuan,
• Abstract要約: テキスト・ビデオ・モデルは強い時間的生成能力を示してきたが、画像復元の可能性は未解明のままである。 本研究では,映像の自然な動きではなく,再生軌跡を生成するように微調整することで,進行的な視覚的復元作業にCogVideoを再利用する。 超高分解能、分解性、低照度化のための合成データセットを構築し、各サンプルは劣化したフレームからクリーンなフレームへの段階的な遷移を描いている。 本モデルは,PSNR,SSIM,LPIPSなどの知覚的指標を改善するシーケンスを生成することによって,時間的進行と回復の質を関連付けることを学習する。
• 参考スコア（独自算出の注目度）: 6.1671530509662205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text-to-video models have demonstrated strong temporal generation capabilities, yet their potential for image restoration remains underexplored. In this work, we repurpose CogVideo for progressive visual restoration tasks by fine-tuning it to generate restoration trajectories rather than natural video motion. Specifically, we construct synthetic datasets for super-resolution, deblurring, and low-light enhancement, where each sample depicts a gradual transition from degraded to clean frames. Two prompting strategies are compared: a uniform text prompt shared across all samples, and a scene-specific prompting scheme generated via LLaVA multi-modal LLM and refined with ChatGPT. Our fine-tuned model learns to associate temporal progression with restoration quality, producing sequences that improve perceptual metrics such as PSNR, SSIM, and LPIPS across frames. Extensive experiments show that CogVideo effectively restores spatial detail and illumination consistency while maintaining temporal coherence. Moreover, the model generalizes to real-world scenarios on the ReLoBlur dataset without additional training, demonstrating strong zero-shot robustness and interpretability through temporal restoration.
• Abstract（参考訳）: 近年のテキスト・ビデオ・モデルは強い時間的生成能力を示したが、画像復元の可能性は未解明のままである。 本研究では,映像の自然な動きではなく,再生軌跡を生成するように微調整することで,進行的な視覚的復元作業にCogVideoを再利用する。 具体的には,超高分解能,分解性,低照度化のための合成データセットを構築し,各サンプルは劣化したフレームからクリーンなフレームへの段階的な遷移を描いている。 全サンプル間で共有される一様テキストプロンプトと、LLaVAマルチモーダルLLMで生成されたシーン固有のプロンプトスキームと、ChatGPTで改良されたシーン固有のプロンプトスキームの2つを比較した。 我々の微調整モデルでは、時間的進行と回復の質を関連付けることを学び、PSNR、SSIM、LPIPSなどの知覚的指標を改善するシーケンスを生成する。 大規模な実験により、CogVideoは時間的コヒーレンスを維持しながら空間的細部と照明の一貫性を効果的に回復することが示された。 さらに、このモデルはReLoBlurデータセットの実際のシナリオを追加のトレーニングなしで一般化し、時間的復元を通じて強いゼロショットロバスト性と解釈可能性を示す。

関連論文リスト

• STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution [60.06664986365803]
  我々は,事前学習したビデオ拡散モデルに基づいて構築されたビデオ超解像フレームワークSTCDiTを提案する。 複雑なカメラの動きであっても、構造的に忠実で時間的に安定した動画を劣化した入力から復元することを目的としている。
  論文  参考訳（メタデータ） (2025-11-24T05:37:23Z)
• LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
  本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。 我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
  論文  参考訳（メタデータ） (2025-10-01T18:10:08Z)
• CTRL-GS: Cascaded Temporal Residue Learning for 4D Gaussian Splatting [28.308077474731594]
  動的シーンのための4次元ガウススプラッティングの新規拡張を提案する。 動的シーンを「ビデオ・セグメンテーション・フレーム」構造に分解し、セグメントを光学的フローで動的に調整する。 いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
  論文  参考訳（メタデータ） (2025-05-23T19:01:55Z)
• Temporal-Consistent Video Restoration with Pre-trained Diffusion Models [51.47188802535954]
  ビデオ復元(VR)は、劣化したビデオから高品質なビデオを復元することを目的としている。 事前訓練拡散モデル(DM)を用いた最近のゼロショットVR法は,逆拡散時の近似誤差と時間的整合性の欠如に悩まされている。 本稿では,DMのシード空間におけるビデオフレームを直接パラメータ化し,近似誤差を排除した新しいMAP(Posterior Maximum)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:41:56Z)
• Perceive, Understand and Restore: Real-World Image Super-Resolution with Autoregressive Multimodal Generative Models [33.76031793753807]
  我々は、自己回帰型マルチモーダルモデルLumina-mGPTを堅牢なReal-ISRモデル、すなわちPUREに適応する。 PUREは入力された低画質の画像を認識して理解し、高品質の画像を復元する。 実験により、PUREはリアルな細部を生成しながら、画像の内容を保存していることが示された。
  論文  参考訳（メタデータ） (2025-03-14T04:33:59Z)
• TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation [97.96178992465511]
  生成したビデオは、新しい概念の出現と、時間経過とともに現実の動画のようにそれらの関係の遷移を取り入れるべきである、と我々は主張する。 ビデオ生成モデルの時間構成性を評価するため,細部まで作り上げたテキストプロンプトのベンチマークであるTC-Benchと,それに対応する地上の真理ビデオ,ロバストな評価指標を提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:41:32Z)
• RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
  Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。 現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。 パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
  論文  参考訳（メタデータ） (2024-05-29T19:23:53Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。 本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。 我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• ConVRT: Consistent Video Restoration Through Turbulence with Test-time Optimization of Neural Video Representations [13.38405890753946]
  乱流を通した連続ビデオ再生(ConVRT)を自己管理する手法を提案する。 ConVRTは、回復時の時間的一貫性を高めるように設計されたニューラルビデオ表現を特徴とするテスト時間最適化手法である。 ConVRTの重要な革新は、セマンティック指向の監視のための事前訓練された視覚言語モデル(CLIP)の統合である。
  論文  参考訳（メタデータ） (2023-12-07T20:19:48Z)
• Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator [59.589919015669274]
  本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。 本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。 また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。