論文の概要: Learning Task Agnostic Temporal Consistency Correction
- arxiv url: http://arxiv.org/abs/2206.03753v1
- Date: Wed, 8 Jun 2022 09:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:54:47.815395
- Title: Learning Task Agnostic Temporal Consistency Correction
- Title（参考訳）: タスク非依存的時間一貫性補正の学習
- Authors: Muhammad Kashif Ali, Dongjin Kim, Tae Hyun Kim
- Abstract要約: これらの矛盾に対処する最先端技術は、未処理のビデオの可用性に依存している。
本稿では,一貫性のない動画から一貫した動きのダイナミクスを推論する手法を提案する。
提案フレームワークは2つの大規模データセットに対して最先端の結果を生成する。
- 参考スコア（独自算出の注目度）: 9.21721532941863
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Due to the scarcity of video processing methodologies, image processing
operations are naively extended to the video domain by processing each frame
independently. This disregard for the temporal connection in video processing
often leads to severe temporal inconsistencies. State-of-the-art techniques
that address these inconsistencies rely on the availability of unprocessed
videos to siphon consistent video dynamics to restore the temporal consistency
of frame-wise processed videos. We propose a novel general framework for this
task that learns to infer consistent motion dynamics from inconsistent videos
to mitigate the temporal flicker while preserving the perceptual quality for
both the temporally neighboring and relatively distant frames. The proposed
framework produces state-of-the-art results on two large-scale datasets, DAVIS
and videvo.net, processed by numerous image processing tasks in a feed-forward
manner. The code and the trained models will be released upon acceptance.
- Abstract（参考訳）: 画像処理手法の不足により、各フレームを独立して処理することにより、画像処理操作をビデオ領域にナビゲートする。
このビデオ処理における時間的接続の無視は、しばしば深刻な時間的不整合を引き起こす。
これらの矛盾に対処する最先端技術は、フレーム単位で処理されたビデオの時間的一貫性を回復するために、一貫したビデオダイナミクスをシフォンする未処理ビデオの可用性に依存している。
そこで本研究では,不整合映像から一貫した動きのダイナミクスを推定し,時間的隣接フレームと相対的遠方フレームの知覚品質を維持しつつ,時間的フリックを緩和する手法を提案する。
提案フレームワークは,2つの大規模データセットであるDAVISとvidevo.netに対して,多数の画像処理タスクをフィードフォワード方式で処理する。
コードとトレーニングされたモデルは受け入れ次第リリースされる。
関連論文リスト
- VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。
本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
論文 参考訳（メタデータ） (2023-12-17T09:05:56Z) - Blurry Video Compression: A Trade-off between Visual Enhancement and
Data Compression [65.8148169700705]
既存のビデオ圧縮(VC)手法は主に、ビデオ内の連続フレーム間の空間的および時間的冗長性を減らすことを目的としている。
これまでの研究は、インスタント(既知の)露光時間やシャッタースピードなどの特定の設定で取得されたビデオに対して、顕著な成果を上げてきた。
本研究では,シーン内のカメラ設定やダイナミックスによって,所定の映像がぼやけてしまうという一般的なシナリオにおいて,VCの問題に取り組む。
論文 参考訳（メタデータ） (2023-11-08T02:17:54Z) - LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video
Translation [21.815083817914843]
我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。
我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。
textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
論文 参考訳（メタデータ） (2023-11-01T08:02:57Z) - Sync-NeRF: Generalizing Dynamic NeRFs to Unsynchronized Videos [9.90835990611019]
個別の非同期ビデオのタイムオフセットを導入し、NeRFと共同でオフセットを最適化する。
オフセットを見つけることは、手動で動画を同期させるのに自然に役立ちます。
論文 参考訳（メタデータ） (2023-10-20T08:45:30Z) - RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。
既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。
我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。
本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
論文 参考訳（メタデータ） (2023-08-11T12:17:24Z) - VRT: A Video Restoration Transformer [126.79589717404863]
ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。
並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
論文 参考訳（メタデータ） (2022-01-28T17:54:43Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳（メタデータ） (2021-12-02T12:13:56Z) - Temporal Context Aggregation for Video Retrieval with Contrastive
Learning [81.12514007044456]
フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。
提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
論文 参考訳（メタデータ） (2020-08-04T05:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。