論文の概要: EVRNet: Efficient Video Restoration on Edge Devices
- arxiv url: http://arxiv.org/abs/2012.02228v1
- Date: Thu, 3 Dec 2020 19:42:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:01:46.405418
- Title: EVRNet: Efficient Video Restoration on Edge Devices
- Title(参考訳): EVRNet:エッジデバイス上での効率的なビデオ復元
- Authors: Sachin Mehta and Amit Kumar and Fitsum Reda and Varun Nasery and
Vikram Mulukutla and Rakesh Ranjan and Vikas Chandra
- Abstract要約: 我々は,受信者のエッジデバイス上での映像をリアルタイムに復元する,効率的なビデオ復元ネットワークであるEVRNetを導入する。
EVRNetは、アライメント、微分、融合モジュールを使用して、ネットワーク内のパラメータを効率的に割り当てる。
EVRNetは、パラメータやMACが大幅に少ない既存のメソッドに対して、競合性能を提供することを示した。
- 参考スコア(独自算出の注目度): 6.112270658973832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video transmission applications (e.g., conferencing) are gaining momentum,
especially in times of global health pandemic. Video signals are transmitted
over lossy channels, resulting in low-quality received signals. To restore
videos on recipient edge devices in real-time, we introduce an efficient video
restoration network, EVRNet. EVRNet efficiently allocates parameters inside the
network using alignment, differential, and fusion modules. With extensive
experiments on video restoration tasks (deblocking, denoising, and
super-resolution), we demonstrate that EVRNet delivers competitive performance
to existing methods with significantly fewer parameters and MACs. For example,
EVRNet has 260 times fewer parameters and 958 times fewer MACs than enhanced
deformable convolution-based video restoration network (EDVR) for 4 times video
super-resolution while its SSIM score is 0.018 less than EDVR. We also
evaluated the performance of EVRNet under multiple distortions on unseen
dataset to demonstrate its ability in modeling variable-length sequences under
both camera and object motion.
- Abstract(参考訳): ビデオ送信アプリケーション(例えば会議)は、特に世界的な健康のパンデミックの時期に勢いを増している。
ビデオ信号は損失の多いチャンネルで送信され、低品質の受信信号が得られる。
受信者エッジデバイス上の映像をリアルタイムに復元するために,効率的な映像復元ネットワークevrnetを導入する。
evrnetはアライメント、ディファレンシャル、フュージョンモジュールを使用してネットワーク内のパラメータを効率的に割り当てる。
ビデオ復元タスク(デブロッキング、デノイング、超解像)の広範な実験により、EVRNetは、パラメータやMACが大幅に少ない既存のメソッドに競合性能を提供することを示した。
例えば、EVRNetはパラメータの260倍、MACの958倍、変形可能な畳み込みベースのビデオ復元ネットワーク(EDVR)の4倍、SSIMスコアはEDVRの0.018倍である。
また,evrnetの性能を未取得データセットの複数の歪み下で評価し,カメラと物体の動きの両方で可変長シーケンスをモデル化する能力を示す。
関連論文リスト
- Enhancing Bandwidth Efficiency for Video Motion Transfer Applications using Deep Learning Based Keypoint Prediction [4.60378493357739]
本稿では,モーショントランスファー対応ビデオアプリケーションにおける帯域幅削減のための,ディープラーニングに基づく新しい予測フレームワークを提案する。
リアルタイムアプリケーションでは,最大2倍の帯域幅削減を実現し,提案手法の有効性を示した。
論文 参考訳(メタデータ) (2024-03-17T20:36:43Z) - ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。
本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。
提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-03-23T17:58:05Z) - Sliding Window Recurrent Network for Efficient Video Super-Resolution [0.0]
ビデオ超解像(VSR)は、高解像度のフレームを低解像度の入力列から復元するタスクである。
本研究では,テキストスライディングウィンドウをベースとしたリカレントネットワーク(SWRN)を提案する。
筆者らはREDSデータセットを用いて,提案手法をモバイルデバイスに適用し,視覚的に快適な結果が得られることを示した。
論文 参考訳(メタデータ) (2022-08-24T15:23:44Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳(メタデータ) (2022-05-08T02:24:43Z) - On the Generalization of BasicVSR++ to Video Deblurring and Denoising [98.99165593274304]
我々は、BasicVSR++をビデオ復元タスクのための汎用フレームワークに拡張する。
入力と出力が同じ空間サイズを持つタスクでは、入力解像度はストライド畳み込みによって削減され効率が維持される。
BasicVSR++からの最小限の変更だけで、提案するフレームワークは、様々なビデオ復元タスクにおいて、非常に効率よく魅力的なパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-04-11T17:59:56Z) - A Study of Designing Compact Audio-Visual Wake Word Spotting System
Based on Iterative Fine-Tuning in Neural Network Pruning [57.28467469709369]
視覚情報を利用した小型音声覚醒単語スポッティング(WWS)システムの設計について検討する。
繰り返し微調整方式(LTH-IF)で抽選券仮説を通したニューラルネットワークプルーニング戦略を導入する。
提案システムでは,ノイズ条件の異なる単一モード(オーディオのみ,ビデオのみ)システムに対して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-17T08:26:25Z) - VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the
Edge for the Internet of Multimedia Things [3.222802562733787]
VID-WINは、エッジクラウドパラダイムでビデオイベント分析を加速するための適応型2段階アライメントウィンドウリングアプローチです。
VID-WINは、ビデオコンテンツと入力ノブを利用して、ノード間のビデオ推論プロセスを加速する。
論文 参考訳(メタデータ) (2021-04-27T10:08:40Z) - MoViNets: Mobile Video Networks for Efficient Video Recognition [52.49314494202433]
3D畳み込みニューラルネットワーク(CNN)は、ビデオ認識では正確だが、大きな計算とメモリ予算を必要とする。
本稿では,3次元CNNのピークメモリ使用量を大幅に削減しつつ,計算効率を向上させる3段階の手法を提案する。
論文 参考訳(メタデータ) (2021-03-21T23:06:38Z) - Self-Supervised Adaptation for Video Super-Resolution [7.26562478548988]
シングルイメージスーパーリゾリューション(SISR)ネットワークは、特定の入力画像にネットワークパラメータを適応させることができます。
従来のビデオスーパーレゾリューション(VSR)ネットワークがビデオフレームをテストするためにパラメータを適応できるようにする新しい学習アルゴリズムを紹介します。
論文 参考訳(メタデータ) (2021-03-18T08:30:24Z) - Learning to Compress Videos without Computing Motion [39.46212197928986]
動き推定を必要としない新しいディープラーニングビデオ圧縮アーキテクチャを提案する。
本フレームワークでは,映像のフレーム差分を映像表現として利用することにより,映像の動きに固有の規則性を利用する。
実験の結果,Motionless VIdeo Codec (MOVI-Codec) と呼ばれる圧縮モデルは,動きを計算せずに効率的に動画を圧縮する方法を学習することがわかった。
論文 参考訳(メタデータ) (2020-09-29T15:49:25Z) - Deep Space-Time Video Upsampling Networks [47.62807427163614]
ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。
本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。
その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
論文 参考訳(メタデータ) (2020-04-06T07:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。