論文の概要: Real-Time Neural Video Recovery and Enhancement on Mobile Devices
- arxiv url: http://arxiv.org/abs/2307.12152v1
- Date: Sat, 22 Jul 2023 19:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:38:35.438686
- Title: Real-Time Neural Video Recovery and Enhancement on Mobile Devices
- Title(参考訳): モバイルデバイスにおけるリアルタイムニューラルビデオ再生と拡張
- Authors: Zhaoyuan He, Yifan Yang, Lili Qiu, Kyoungjun Park
- Abstract要約: モバイル端末上でのリアルタイム映像強調のための新しい手法を提案する。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
その結果,ビデオストリーミングシステムでは,QoEの24%~82%が顕著に増加した。
- 参考スコア(独自算出の注目度): 15.343787475565836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As mobile devices become increasingly popular for video streaming, it's
crucial to optimize the streaming experience for these devices. Although deep
learning-based video enhancement techniques are gaining attention, most of them
cannot support real-time enhancement on mobile devices. Additionally, many of
these techniques are focused solely on super-resolution and cannot handle
partial or complete loss or corruption of video frames, which is common on the
Internet and wireless networks.
To overcome these challenges, we present a novel approach in this paper. Our
approach consists of (i) a novel video frame recovery scheme, (ii) a new
super-resolution algorithm, and (iii) a receiver enhancement-aware video bit
rate adaptation algorithm. We have implemented our approach on an iPhone 12,
and it can support 30 frames per second (FPS). We have evaluated our approach
in various networks such as WiFi, 3G, 4G, and 5G networks. Our evaluation shows
that our approach enables real-time enhancement and results in a significant
increase in video QoE (Quality of Experience) of 24\% - 82\% in our video
streaming system.
- Abstract(参考訳): モバイル機器がビデオストリーミングで人気になるにつれて、これらのデバイスのストリーミングエクスペリエンスを最適化することが重要です。
ディープラーニングベースのビデオエンハンスメント技術が注目されているが、そのほとんどはモバイルデバイスでのリアルタイムエンハンスメントをサポートできない。
さらに、これらの技術の多くは超高解像度にのみ焦点を合わせており、インターネットや無線ネットワークで一般的なビデオフレームの部分的あるいは完全な損失や破損を処理できない。
これらの課題を克服するために,本稿では新しいアプローチを提案する。
私たちのアプローチは
(i)新しいビデオフレーム復元方式
(ii)新しい超解像アルゴリズム,及び
3)レシーバ拡張対応ビデオビットレート適応アルゴリズム。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
我々は,WiFi,3G,4G,5Gネットワークなどの様々なネットワークにおいて,我々のアプローチを評価した。
評価の結果,本手法はリアルタイムなエンハンスメントを可能にし,ビデオストリーミングシステムにおけるQoE(Quality of Experience)の24-82-%の顕著な増加をもたらすことが示された。
関連論文リスト
- BONES: Near-Optimal Neural-Enhanced Video Streaming [10.157022935317668]
Neural-Enhanced Streaming(NES)は、この新しいアプローチをビデオストリーミングに取り入れることで、ユーザーは低品質のビデオセグメントをダウンロードし、ビデオストリームの再生に違反することなく高品質なコンテンツを取得することができる。
本稿では,ユーザ体験の質(QoE)を最大化するために,ネットワークと計算資源を共同で管理するNES制御アルゴリズムBONESを紹介する。
我々の総合的な実験結果から、BONESは最先端のアルゴリズムよりもQoEを4%から13%増加させ、ユーザのビデオストリーミング体験を向上する可能性を示している。
論文 参考訳(メタデータ) (2023-10-15T19:08:18Z) - Audio-Visual Glance Network for Efficient Video Recognition [17.95844876568496]
本稿では,映像の時間的に重要な部分を効率的に処理するためのオーディオ・ビジュアル・ネットワーク(AVGN)を提案する。
我々は,各フレームのサリエンシスコアを推定するAV-TeST (Audio-Visual Temporal Saliency Transformer) を用いた。
AVGNの堅牢性と有効性を高めるため,様々なトレーニング手法とマルチモーダル特徴融合を取り入れた。
論文 参考訳(メタデータ) (2023-08-18T05:46:20Z) - Power Efficient Video Super-Resolution on Mobile NPUs with Deep
Learning, Mobile AI & AIM 2022 challenge: Report [97.01510729548531]
低消費電力に最適化されたモバイルNPUのためのリアルタイムビデオ超解法を提案する。
モデルは、専用のAI処理ユニットを備えた強力なMediaTek Dimensity 9000プラットフォームで評価された。
提案したすべてのソリューションは上記のNPUと完全に互換性があり、最大500FPSレートと0.2[Watt / 30FPS]電力消費を示す。
論文 参考訳(メタデータ) (2022-11-07T22:33:19Z) - Rethinking Resolution in the Context of Efficient Video Recognition [49.957690643214576]
クロスレゾリューションKD(ResKD)は、低解像度フレームでの認識精度を高めるための単純だが効果的な方法である。
我々は,最先端アーキテクチャ,すなわち3D-CNNとビデオトランスフォーマーに対して,その効果を広く示す。
論文 参考訳(メタデータ) (2022-09-26T15:50:44Z) - Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。
変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-02-03T17:49:04Z) - Real-Time Video Super-Resolution on Smartphones with Deep Learning,
Mobile AI 2021 Challenge: Report [135.69469815238193]
ビデオの超高解像度化は、ビデオ通信とストリーミングサービスの台頭により、モバイル関連で最も重要な問題の一つになっている。
この問題に対処するために、私たちは、エンドツーエンドのディープラーニングベースのビデオ超解解ソリューションを開発することを目的とした、最初のMobile AIチャレンジを紹介します。
提案したソリューションは、あらゆるモバイルGPUと完全に互換性があり、高忠実度の結果を示しながら、最大80FPSのHD解像度でビデオをアップスケールすることができる。
論文 参考訳(メタデータ) (2021-05-17T13:40:50Z) - An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time
Video Enhancement [132.60976158877608]
対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。
特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。
提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
論文 参考訳(メタデータ) (2020-12-24T00:03:29Z) - Real-Time Video Inference on Edge Devices via Adaptive Model Streaming [9.101956442584251]
携帯電話やドローンなどのエッジデバイス上でのリアルタイムビデオ推論は、Deep Neural Networksのコストが高いため、難しい。
本稿では、エッジデバイス上での映像推論のための効率的な軽量モデルの性能向上のための新しいアプローチであるAdaptive Model Streaming (AMS)を提案する。
論文 参考訳(メタデータ) (2020-06-11T17:25:44Z) - Deep Space-Time Video Upsampling Networks [47.62807427163614]
ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。
本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。
その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
論文 参考訳(メタデータ) (2020-04-06T07:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。