Fugu-MT 論文翻訳(概要): Video Generation with Consistency Tuning

論文の概要: Video Generation with Consistency Tuning

arxiv url: http://arxiv.org/abs/2403.06356v1
Date: Mon, 11 Mar 2024 01:11:28 GMT
ステータス: 処理完了
システム内更新日: 2024-03-12 20:41:22.466237
Title: Video Generation with Consistency Tuning
Title（参考訳）: 一貫性調整による映像生成
Authors: Chaoyi Wang, Yaozhe Song, Yafeng Zhang, Jun Pei, Lijie Xia, Jianpo Liu
Abstract要約: 4つのモジュールからなる新しいフレームワークを提案する。その後、新たに提案したモジュールを適用することで、各ビデオフレームにおける背景と前景の整合性が最適化される。また,本手法により生成されたビデオは,最先端の手法と比較して高品質であることを示す実験結果を得た。
参考スコア（独自算出の注目度）: 1.4693350797784857
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Currently, various studies have been exploring generation of long videos. However, the generated frames in these videos often exhibit jitter and noise. Therefore, in order to generate the videos without these noise, we propose a novel framework composed of four modules: separate tuning module, average fusion module, combined tuning module, and inter-frame consistency module. By applying our newly proposed modules subsequently, the consistency of the background and foreground in each video frames is optimized. Besides, the experimental results demonstrate that videos generated by our method exhibit a high quality in comparison of the state-of-the-art methods.
Abstract（参考訳）: 現在、様々な研究が長いビデオの生成を探求している。しかし、これらのビデオの生成されたフレームにはジッタとノイズがしばしば現れる。そこで,これらのノイズを伴わない映像を生成するために,分離チューニングモジュール,平均融合モジュール,複合チューニングモジュール,フレーム間一貫性モジュールという4つのモジュールからなる新しいフレームワークを提案する。その後,提案するモジュールを適用し,各フレームの背景と前景の一貫性を最適化した。また,本手法が生成する映像は最先端の手法と比較して高い品質を示すことを示した。

関連論文リスト

Compressed Video Quality Enhancement with Temporal Group Alignment and Fusion [26.48423736765776]
画像群(GoP)は,時間的距離に応じて映像から対象の強調フレームへフレームを選択することで形成する。 IntraGFAモジュールを設計し、各GoPのフレームの特徴を整列させ、フレーム間に存在する動きを除去する。我々は、異なるGoPに属する機能を融合させるInterGFFモジュールを構築し、最終的にFEモジュールとの融合機能を強化し、高品質なビデオフレームを生成する。
論文参考訳（メタデータ） (2024-06-14T03:36:55Z)
ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
論文参考訳（メタデータ） (2024-06-03T00:31:13Z)
Highly Detailed and Temporal Consistent Video Stylization via Synchronized Multi-Frame Diffusion [22.33952368534147]
テキストガイド付きビデオ・ビデオ・スタイリングは、ソースビデオの視覚的な外観を、テキストプロンプトでガイドされた異なる外観に変換する。既存のテキスト誘導画像拡散モデルは、スタイリングされたビデオ合成のために拡張することができる。視覚的詳細と時間的整合性の両方を維持するための同期多フレーム拡散フレームワークを提案する。
論文参考訳（メタデータ） (2023-11-24T08:38:19Z)
ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
論文参考訳（メタデータ） (2023-05-22T14:48:53Z)
Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文参考訳（メタデータ） (2022-12-14T18:54:13Z)
Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
論文参考訳（メタデータ） (2022-07-14T09:17:00Z)
Flexible Diffusion Modeling of Long Videos [15.220686350342385]
本稿では,任意のビデオフレームの任意のサブセットをテスト時にサンプリングできる生成モデルを提案する。本稿では,25分以上の時間的コヒーレントなビデオとデータセットの事前処理によるビデオモデリングの改善を実演する。さらに、CARLAの自動運転車シミュレータで生成されたビデオに基づいて、新しいビデオモデリングデータセットと意味論的に意味のあるメトリクスをリリースする。
論文参考訳（メタデータ） (2022-05-23T17:51:48Z)
ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文参考訳（メタデータ） (2021-03-07T04:33:13Z)
Video Super-resolution with Temporal Group Attention [127.21615040695941]
本稿では,時間的情報を階層的に効果的に組み込む新しい手法を提案する。入力シーケンスは複数のグループに分けられ、それぞれがフレームレートの種類に対応する。これは、いくつかのベンチマークデータセットにおける最先端のメソッドに対して良好なパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-07-21T04:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。