論文の概要: Frame Difference-Based Temporal Loss for Video Stylization

• arxiv url: http://arxiv.org/abs/2102.05822v1
• Date: Thu, 11 Feb 2021 02:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 22:32:43.895016
• Title: Frame Difference-Based Temporal Loss for Video Stylization
• Title（参考訳）: ビデオスタイライゼーションのためのフレーム差に基づく時間損失
• Authors: Jianjin Xu, Zheyang Xiong, Xiaolin Hu
• Abstract要約: 本稿では、フレーム差分に基づく時間的損失(FDB)という、時間的不整合問題を解決するためのより単純な時間的損失を提案する。 これは、スタイリングされたフレーム間の差と元のフレーム間の差とで定義される。 提案されたFDB損失は、ビデオスタイリングにおいて一般的に使用されるOFB損失の強力な代替手段である。
• 参考スコア（独自算出の注目度）: 14.44864237827531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural style transfer models have been used to stylize an ordinary video to specific styles. To ensure temporal inconsistency between the frames of the stylized video, a common approach is to estimate the optic flow of the pixels in the original video and make the generated pixels match the estimated optical flow. This is achieved by minimizing an optical flow-based (OFB) loss during model training. However, optical flow estimation is itself a challenging task, particularly in complex scenes. In addition, it incurs a high computational cost. We propose a much simpler temporal loss called the frame difference-based (FDB) loss to solve the temporal inconsistency problem. It is defined as the distance between the difference between the stylized frames and the difference between the original frames. The differences between the two frames are measured in both the pixel space and the feature space specified by the convolutional neural networks. A set of human behavior experiments involving 62 subjects with 25,600 votes showed that the performance of the proposed FDB loss matched that of the OFB loss. The performance was measured by subjective evaluation of stability and stylization quality of the generated videos on two typical video stylization models. The results suggest that the proposed FDB loss is a strong alternative to the commonly used OFB loss for video stylization.
• Abstract（参考訳）: ニューラルスタイル転送モデルは、通常のビデオを特定のスタイルにスタイリッシュするために使われてきた。 スタイリングされたビデオのフレーム間の時間的不整合性を確保するため、オリジナルビデオ中の画素の光学的流れを推定し、生成したピクセルを推定された光学的流れと一致させることが一般的である。 これは、モデルトレーニング中の光学フローベース(OFB)損失を最小限にすることで達成される。 しかし、特に複雑な場面では、光学的フロー推定は難しい課題である。 さらに、高い計算コストが発生します。 時間的不整合問題を解決するために,フレーム差分法(FDB)損失という,より単純な時間的損失を提案する。 様式化されたフレーム間の差と元のフレーム間の差との距離として定義される。 2つのフレームの違いは、畳み込みニューラルネットワークによって指定された画素空間と特徴空間の両方で測定される。 62名の被験者による2,600票の人的行動実験の結果,提案するfdb損失のパフォーマンスはofb損失と一致した。 2種類の典型的映像スタイライゼーションモデルを用いて,生成映像の安定性とスタイライゼーション品質を主観的に評価した。 その結果,提案するFDB損失は,ビデオスタイリゼーションにおいて一般的に使用されるOFB損失の強力な代替手段であることが示唆された。

関連論文リスト

• Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
  Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。 時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
  論文  参考訳（メタデータ） (2024-11-26T09:28:32Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• Spatio-Temporal Deformable Attention Network for Video Deblurring [21.514099863308676]
  ビデオデブロアリング法の重要な成功要因は、隣接するビデオフレームのシャープピクセルと中フレームのぼやけたピクセルを補償することである。 ビデオフレームの画素単位のぼかしレベルを考慮し,シャープな画素情報を抽出するSTDANetを提案する。
  論文  参考訳（メタデータ） (2022-07-22T03:03:08Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)
• Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes [14.384467317051831]
  本稿では,複数のビデオフレームから情報を効果的に集約することで,映像をブルーリングする2つの新しい手法を提案する。 まず、ぼやけたフレーム間の動き推定精度を向上させるために、ぼやけた不変な動き推定学習を提案する。 第二に、動き補正のために、推定した動きを歪ませてフレームを整列する代わりに、被写体がシャープな画素を含む画素体積を用いて、動き推定誤差を解消する。
  論文  参考訳（メタデータ） (2021-08-23T07:36:49Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Is There Tradeoff between Spatial and Temporal in Video Super-Resolution? [50.70768797616581]
  低解像度(LR)ビデオフレーム間の時間的相関を利用するアルゴリズムや,複数のLRフレームを持つフレームを超解法するアルゴリズムが提案されている。 これらの手法は、PSNRなどのフレーム単位での画質を計測する超解像フレームのより高い品質を追求する。 フレームワイドの忠実度とフレーム間の一貫性を両立させることは自然な要件であり、それぞれが空間的品質と時間的品質と呼ばれる。
  論文  参考訳（メタデータ） (2020-03-13T07:49:05Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。