論文の概要: Real-Time Neural Video Recovery and Enhancement on Mobile Devices
- arxiv url: http://arxiv.org/abs/2307.12152v1
- Date: Sat, 22 Jul 2023 19:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:38:35.438686
- Title: Real-Time Neural Video Recovery and Enhancement on Mobile Devices
- Title（参考訳）: モバイルデバイスにおけるリアルタイムニューラルビデオ再生と拡張
- Authors: Zhaoyuan He, Yifan Yang, Lili Qiu, Kyoungjun Park
- Abstract要約: モバイル端末上でのリアルタイム映像強調のための新しい手法を提案する。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
その結果,ビデオストリーミングシステムでは,QoEの24%～82%が顕著に増加した。
- 参考スコア（独自算出の注目度）: 15.343787475565836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As mobile devices become increasingly popular for video streaming, it's
crucial to optimize the streaming experience for these devices. Although deep
learning-based video enhancement techniques are gaining attention, most of them
cannot support real-time enhancement on mobile devices. Additionally, many of
these techniques are focused solely on super-resolution and cannot handle
partial or complete loss or corruption of video frames, which is common on the
Internet and wireless networks.
To overcome these challenges, we present a novel approach in this paper. Our
approach consists of (i) a novel video frame recovery scheme, (ii) a new
super-resolution algorithm, and (iii) a receiver enhancement-aware video bit
rate adaptation algorithm. We have implemented our approach on an iPhone 12,
and it can support 30 frames per second (FPS). We have evaluated our approach
in various networks such as WiFi, 3G, 4G, and 5G networks. Our evaluation shows
that our approach enables real-time enhancement and results in a significant
increase in video QoE (Quality of Experience) of 24\% - 82\% in our video
streaming system.
- Abstract（参考訳）: モバイル機器がビデオストリーミングで人気になるにつれて、これらのデバイスのストリーミングエクスペリエンスを最適化することが重要です。
ディープラーニングベースのビデオエンハンスメント技術が注目されているが、そのほとんどはモバイルデバイスでのリアルタイムエンハンスメントをサポートできない。
さらに、これらの技術の多くは超高解像度にのみ焦点を合わせており、インターネットや無線ネットワークで一般的なビデオフレームの部分的あるいは完全な損失や破損を処理できない。
これらの課題を克服するために,本稿では新しいアプローチを提案する。
私たちのアプローチは
(i)新しいビデオフレーム復元方式
(ii)新しい超解像アルゴリズム,及び
3)レシーバ拡張対応ビデオビットレート適応アルゴリズム。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
我々は,WiFi,3G,4G,5Gネットワークなどの様々なネットワークにおいて,我々のアプローチを評価した。
評価の結果,本手法はリアルタイムなエンハンスメントを可能にし,ビデオストリーミングシステムにおけるQoE(Quality of Experience)の24-82-%の顕著な増加をもたらすことが示された。
関連論文リスト
- Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。
本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。
また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
論文 参考訳（メタデータ） (2024-11-04T18:59:44Z) - AIM 2024 Challenge on Efficient Video Super-Resolution for AV1 Compressed Content [56.552444900457395]
ビデオスーパーレゾリューション(VSR)は、特にストリーミングアプリケーションにおいて、低ビットレートおよび低解像度ビデオを強化するための重要なタスクである。
本研究では,これらの課題に対処するために様々な手法をコンパイルし,その解決策はエンドツーエンドのビデオ超解像フレームワークである。
提案されたソリューションは、一般的なケースとして540pから4K(x4)、モバイルデバイス向けに調整された360pから1080p(x3)の2つのアプリケーションのためのビデオアップスケーリングに取り組む。
論文 参考訳（メタデータ） (2024-09-25T18:12:19Z) - Towards Real-time Video Compressive Sensing on Mobile Devices [18.96331666620252]
Video Snapshot Compressive Imaging (SCI)は、低速2Dカメラを使用して、スナップショット圧縮計測として高速シーンをキャプチャする。
本稿では,モバイル機器上でリアルタイムに動作可能なビデオSCI再構成手法であるMobileSCIを提案する。
論文 参考訳（メタデータ） (2024-08-14T13:03:31Z) - Power Efficient Video Super-Resolution on Mobile NPUs with Deep
Learning, Mobile AI & AIM 2022 challenge: Report [97.01510729548531]
低消費電力に最適化されたモバイルNPUのためのリアルタイムビデオ超解法を提案する。
モデルは、専用のAI処理ユニットを備えた強力なMediaTek Dimensity 9000プラットフォームで評価された。
提案したすべてのソリューションは上記のNPUと完全に互換性があり、最大500FPSレートと0.2[Watt / 30FPS]電力消費を示す。
論文 参考訳（メタデータ） (2022-11-07T22:33:19Z) - Real-Time Video Super-Resolution on Smartphones with Deep Learning,
Mobile AI 2021 Challenge: Report [135.69469815238193]
ビデオの超高解像度化は、ビデオ通信とストリーミングサービスの台頭により、モバイル関連で最も重要な問題の一つになっている。
この問題に対処するために、私たちは、エンドツーエンドのディープラーニングベースのビデオ超解解ソリューションを開発することを目的とした、最初のMobile AIチャレンジを紹介します。
提案したソリューションは、あらゆるモバイルGPUと完全に互換性があり、高忠実度の結果を示しながら、最大80FPSのHD解像度でビデオをアップスケールすることができる。
論文 参考訳（メタデータ） (2021-05-17T13:40:50Z) - An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time
Video Enhancement [132.60976158877608]
対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。
特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。
提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
論文 参考訳（メタデータ） (2020-12-24T00:03:29Z) - Real-Time Video Inference on Edge Devices via Adaptive Model Streaming [9.101956442584251]
携帯電話やドローンなどのエッジデバイス上でのリアルタイムビデオ推論は、Deep Neural Networksのコストが高いため、難しい。
本稿では、エッジデバイス上での映像推論のための効率的な軽量モデルの性能向上のための新しいアプローチであるAdaptive Model Streaming (AMS)を提案する。
論文 参考訳（メタデータ） (2020-06-11T17:25:44Z) - Deep Space-Time Video Upsampling Networks [47.62807427163614]
ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。
本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。
その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
論文 参考訳（メタデータ） (2020-04-06T07:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。