論文の概要: Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices
- arxiv url: http://arxiv.org/abs/2307.07847v4
- Date: Mon, 23 Oct 2023 00:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:43:54.077923
- Title: Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices
- Title（参考訳）: モバイルデバイス上でのクラウドゲームにおけるリアルタイムニューラルリカバリの実現
- Authors: Zhaoyuan He, Yifan Yang, Shuozhe Li, Diyuan Dai, Lili Qiu, Yuqing Yang
- Abstract要約: 本稿では,クラウドゲームにおいて,失われたビデオフレームや破損したビデオフレームを復元する新しい手法を提案する。
従来のビデオフレームのリカバリとは異なり,本手法ではゲーム状態を用いてリカバリ精度を大幅に向上させる。
我々は, (i) ゲーム状態の効率的な抽出, (ii) H.264 ビデオデコーダの修正, (iii) ビデオフレームのどの部分の回復が必要なのかを示すマスクの生成, (iii) 完全あるいは部分的なビデオフレームを復元する新しいニューラルネットワークを設計した。
- 参考スコア（独自算出の注目度）: 11.530719133935847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cloud gaming is a multi-billion dollar industry. A client in cloud gaming
sends its movement to the game server on the Internet, which renders and
transmits the resulting video back. In order to provide a good gaming
experience, a latency below 80 ms is required. This means that video rendering,
encoding, transmission, decoding, and display have to finish within that time
frame, which is especially challenging to achieve due to server overload,
network congestion, and losses. In this paper, we propose a new method for
recovering lost or corrupted video frames in cloud gaming. Unlike traditional
video frame recovery, our approach uses game states to significantly enhance
recovery accuracy and utilizes partially decoded frames to recover lost
portions. We develop a holistic system that consists of (i) efficiently
extracting game states, (ii) modifying H.264 video decoder to generate a mask
to indicate which portions of video frames need recovery, and (iii) designing a
novel neural network to recover either complete or partial video frames. Our
approach is extensively evaluated using iPhone 12 and laptop implementations,
and we demonstrate the utility of game states in the game video recovery and
the effectiveness of our overall design.
- Abstract（参考訳）: クラウドゲームは数十億ドルの産業だ。
クラウドゲームのクライアントは、その動きをインターネット上のゲームサーバに送信し、その結果のビデオのレンダリングと送信を行う。
優れたゲーム体験を提供するには、80ms未満のレイテンシが必要である。
これは、ビデオレンダリング、エンコーディング、トランスミッション、デコード、ディスプレイがその時間枠内で終了しなければならないことを意味しており、特にサーバの過負荷、ネットワークの混雑、損失のために達成が困難である。
本稿では,クラウドゲームにおいて,失われたビデオフレームを復元する新しい手法を提案する。
従来のビデオフレームリカバリとは異なり,本手法ではゲーム状態を用いて復元精度を大幅に向上し,部分復号化フレームを用いて失われた部分を復元する。
我々は、総合的なシステムを開発する。
(i)ゲーム状態の効率的な抽出
(ii)h.264ビデオデコーダを改造して、フレームのどの部分が回復を必要とするかを示すマスクを生成し、
(iii)完全または部分的な映像フレームを復元する新しいニューラルネットワークを設計すること。
提案手法は,iPhone 12およびラップトップ実装を用いて広範に評価され,ゲーム再生におけるゲーム状態の有用性と全体的な設計の有効性を実証する。
関連論文リスト
- GameIR: A Large-Scale Synthesized Ground-Truth Dataset for Image Restoration over Gaming Content [16.07538127436932]
我々は,空白を埋めるために,大規模コンピュータ合成地上トラスデータセットであるGameIRを開発した。
我々は,このタスクのために720pと1440pでレンダリングされた640本のビデオから,19200本のLR-HR対の地上構造フレームを提供する。
2つ目は、新しいビュー合成(NVS)であり、マルチビューフレームの一部をレンダリングおよび転送し、クライアント側で残りのフレームを生成するマルチビューゲーミングソリューションをサポートする。
論文 参考訳（メタデータ） (2024-08-29T19:11:46Z) - Real-Time Neural Video Recovery and Enhancement on Mobile Devices [15.343787475565836]
モバイル端末上でのリアルタイム映像強調のための新しい手法を提案する。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
その結果,ビデオストリーミングシステムでは,QoEの24%～82%が顕著に増加した。
論文 参考訳（メタデータ） (2023-07-22T19:52:04Z) - Predictive Coding For Animation-Based Video Compression [13.161311799049978]
本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。
実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
論文 参考訳（メタデータ） (2023-07-09T14:40:54Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - GRACE: Loss-Resilient Real-Time Video through Neural Codecs [31.006987868475683]
リアルタイムビデオ通信では、遅延の厳しい要求のため、ロスパケットを高遅延ネットワーク上で再送信することは不可能である。
本稿では,ユーザによるパケットロスに対するQE(Quality of Experience, QE)の保存を行うGRACEという,損失耐性のあるリアルタイムビデオシステムを提案する。
論文 参考訳（メタデータ） (2023-05-21T03:50:44Z) - GAMIVAL: Video Quality Prediction on Mobile Cloud Gaming Content [30.96557290048384]
我々はGAMIVAL(Gaming Video Quality Evaluator)と呼ばれるゲーム固有のNR VQAモデルを開発した。
サポートベクタ回帰(SVR)を回帰器として使用するGAMIVALは,新たなLIVE-Meta Mobile Cloud Gaming(LIVE-Meta MCG)ビデオ品質データベースにおいて,優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-05-03T20:29:04Z) - HNeRV: A Hybrid Neural Representation for Videos [56.492309149698606]
暗黙の神経表現は、動画をニューラルネットワークとして保存する。
ビデオ用ハイブリッドニューラル表現法(HNeRV)を提案する。
コンテンツ適応型埋め込みと再設計アーキテクチャにより、HNeRVはビデオレグレッションタスクにおいて暗黙のメソッドよりも優れる。
論文 参考訳（メタデータ） (2023-04-05T17:55:04Z) - ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。
本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。
提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-03-23T17:58:05Z) - EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。
リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。
提案手法は,MVAの計算とメモリ要求を大幅に低減する。
論文 参考訳（メタデータ） (2022-11-19T09:57:01Z) - Transcoded Video Restoration by Temporal Spatial Auxiliary Network [64.63157339057912]
本稿では,映像復元のための時間空間補助ネットワーク(TSAN)を提案する。
実験の結果,提案手法の性能は従来の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-12-15T08:10:23Z) - Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。
我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。
我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
論文 参考訳（メタデータ） (2021-07-24T15:57:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。