論文の概要: Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer

• arxiv url: http://arxiv.org/abs/2007.05146v2
• Date: Wed, 22 Jul 2020 07:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 22:10:32.587122
• Title: Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer
• Title（参考訳）: オプティカルフロー蒸留 : 効率的・安定な動画転送を目指して
• Authors: Xinghao Chen, Yiman Zhang, Yunhe Wang, Han Shu, Chunjing Xu, Chang Xu
• Abstract要約: 本稿では,知識蒸留パラダイムを用いて,軽量のビデオスタイル転送ネットワークを学習することを提案する。 教師ネットワークは2つあり、そのうちの1つは推論中に光学的流れをとるが、もう1つはそうでない。 これら2つの教師ネットワーク間の出力差は、光学的フローによる改善を強調し、対象の学生ネットワークを蒸留するために使用される。
• 参考スコア（独自算出の注目度）: 67.36785832888614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video style transfer techniques inspire many exciting applications on mobile devices. However, their efficiency and stability are still far from satisfactory. To boost the transfer stability across frames, optical flow is widely adopted, despite its high computational complexity, e.g. occupying over 97% inference time. This paper proposes to learn a lightweight video style transfer network via knowledge distillation paradigm. We adopt two teacher networks, one of which takes optical flow during inference while the other does not. The output difference between these two teacher networks highlights the improvements made by optical flow, which is then adopted to distill the target student network. Furthermore, a low-rank distillation loss is employed to stabilize the output of student network by mimicking the rank of input videos. Extensive experiments demonstrate that our student network without an optical flow module is still able to generate stable video and runs much faster than the teacher network.
• Abstract（参考訳）: ビデオスタイルの転送技術は、モバイルデバイス上で多くのエキサイティングなアプリケーションを刺激する。 しかし、その効率と安定性はまだ十分ではない。 フレーム間の転送安定性を高めるために、計算の複雑さが97%以上の推論時間を占めるなど、光学フローが広く採用されている。 本稿では, 知識蒸留パラダイムを用いて, 軽量なビデオ転送ネットワークを学習することを提案する。 教師ネットワークは2つあり、そのうちの1つは推論中に光学的流れをとる。 これら2つの教師ネットワーク間の出力差は、光学フローによる改善を強調し、対象学生ネットワークを蒸留するために使用される。 また、入力映像のランクを模倣して学生ネットワークの出力を安定化するために低ランク蒸留損失を用いる。 広範な実験により,光フローモジュールを持たない学生ネットワークは安定したビデオを生成することができ,教師ネットワークよりもはるかに高速に動作できることが証明された。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Binarized Low-light Raw Video Enhancement [49.65466843856074]
  ディープニューラルネットワークは、低照度生ビデオの強化において優れたパフォーマンスを実現している。 本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-29T02:55:07Z)
• Self-Supervised Motion Magnification by Backpropagating Through Optical Flow [16.80592879244362]
  本稿では,映像中の微妙な動きを拡大する自己教師型手法を提案する。 我々は、その新しい光学フローが所望の量でスケールするようにビデオを操作する。 本稿では、生成した映像の光学的流れを推定し、与えられた拡大係数から逸脱した場合の距離をペナルティ化する損失関数を提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:59:51Z)
• Breaking of brightness consistency in optical flow with a lightweight CNN network [7.601414191389451]
  この研究では、軽量ネットワークを用いて、強い不変性を持つ堅牢な畳み込み特徴やコーナーを抽出する。 畳み込み特性の整合性に対する光学流法の典型的な輝度の整合性を変化させると、光ローバストハイブリッド光流法が得られる。 VINS-Monoの光学フロー法を置き換えることにより,より正確な視覚慣性システムを構築する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:43Z)
• Offline and Online Optical Flow Enhancement for Deep Video Compression [14.445058335559994]
  モーション情報は、既存のディープビデオ圧縮ネットワークのほとんどで光学フローとして表現されている。 我々は現在最先端のディープビデオ圧縮方式であるDCVCの実験を行っている。
  論文  参考訳（メタデータ） (2023-07-11T07:52:06Z)
• GlobalFlowNet: Video Stabilization using Deep Distilled Global Motion Estimates [0.0]
  手持ちのカメラを使ってレイメンが撮影したビデオには、望ましくない震えが写っている。 連続するフレーム間のグローバルな動きを推定することは、多くのビデオ安定化技術の中心である。 移動物体を無視するために、既存の光フローネットワークに適応するより一般的な表現方式を導入する。
  論文  参考訳（メタデータ） (2022-10-25T05:09:18Z)
• Delta Distillation for Efficient Video Processing [68.81730245303591]
  デルタ蒸留と呼ばれる新しい知識蒸留方式を提案する。 ビデオフレーム内の時間的冗長性により,これらの時間的変動を効果的に蒸留できることを実証した。 副産物として、デルタ蒸留は教師モデルの時間的一貫性を向上させる。
  論文  参考訳（メタデータ） (2022-03-17T20:13:30Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• Distilled Semantics for Comprehensive Scene Understanding from Videos [53.49501208503774]
  本稿では,一眼レフカメラによる全体像の理解に向けて,セマンティクスとともに深度や動きを学習し,さらなる一歩を踏み出した。 これら3つの課題を,知識蒸留と自己監督に基づく新たなトレーニングプロトコルによって共同で解決する。 その結果, 単眼深度推定, 光流, モーションセグメンテーションの最先端結果が得られた。
  論文  参考訳（メタデータ） (2020-03-31T08:52:13Z)
• Streaming Networks: Increase Noise Robustness and Filter Diversity via Hard-wired and Input-induced Sparsity [0.2538209532048866]
  近年の研究では、CNNの認識精度が、画像がノイズによって損なわれている場合、大幅に低下することが示されている。 本稿では,Streaming Networksと呼ばれる新しいネットワークアーキテクチャを提案する。 その結果、ハードワイヤとインプットインプットインプットインプットの両方の存在だけで、堅牢なノイズ画像認識が可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-03-30T16:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。