論文の概要: Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices
- arxiv url: http://arxiv.org/abs/2307.07847v4
- Date: Mon, 23 Oct 2023 00:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:43:54.077923
- Title: Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices
- Title（参考訳）: モバイルデバイス上でのクラウドゲームにおけるリアルタイムニューラルリカバリの実現
- Authors: Zhaoyuan He, Yifan Yang, Shuozhe Li, Diyuan Dai, Lili Qiu, Yuqing Yang
- Abstract要約: 本稿では,クラウドゲームにおいて,失われたビデオフレームや破損したビデオフレームを復元する新しい手法を提案する。
従来のビデオフレームのリカバリとは異なり,本手法ではゲーム状態を用いてリカバリ精度を大幅に向上させる。
我々は, (i) ゲーム状態の効率的な抽出, (ii) H.264 ビデオデコーダの修正, (iii) ビデオフレームのどの部分の回復が必要なのかを示すマスクの生成, (iii) 完全あるいは部分的なビデオフレームを復元する新しいニューラルネットワークを設計した。
- 参考スコア（独自算出の注目度）: 11.530719133935847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cloud gaming is a multi-billion dollar industry. A client in cloud gaming
sends its movement to the game server on the Internet, which renders and
transmits the resulting video back. In order to provide a good gaming
experience, a latency below 80 ms is required. This means that video rendering,
encoding, transmission, decoding, and display have to finish within that time
frame, which is especially challenging to achieve due to server overload,
network congestion, and losses. In this paper, we propose a new method for
recovering lost or corrupted video frames in cloud gaming. Unlike traditional
video frame recovery, our approach uses game states to significantly enhance
recovery accuracy and utilizes partially decoded frames to recover lost
portions. We develop a holistic system that consists of (i) efficiently
extracting game states, (ii) modifying H.264 video decoder to generate a mask
to indicate which portions of video frames need recovery, and (iii) designing a
novel neural network to recover either complete or partial video frames. Our
approach is extensively evaluated using iPhone 12 and laptop implementations,
and we demonstrate the utility of game states in the game video recovery and
the effectiveness of our overall design.
- Abstract（参考訳）: クラウドゲームは数十億ドルの産業だ。
クラウドゲームのクライアントは、その動きをインターネット上のゲームサーバに送信し、その結果のビデオのレンダリングと送信を行う。
優れたゲーム体験を提供するには、80ms未満のレイテンシが必要である。
これは、ビデオレンダリング、エンコーディング、トランスミッション、デコード、ディスプレイがその時間枠内で終了しなければならないことを意味しており、特にサーバの過負荷、ネットワークの混雑、損失のために達成が困難である。
本稿では,クラウドゲームにおいて,失われたビデオフレームを復元する新しい手法を提案する。
従来のビデオフレームリカバリとは異なり,本手法ではゲーム状態を用いて復元精度を大幅に向上し,部分復号化フレームを用いて失われた部分を復元する。
我々は、総合的なシステムを開発する。
(i)ゲーム状態の効率的な抽出
(ii)h.264ビデオデコーダを改造して、フレームのどの部分が回復を必要とするかを示すマスクを生成し、
(iii)完全または部分的な映像フレームを復元する新しいニューラルネットワークを設計すること。
提案手法は,iPhone 12およびラップトップ実装を用いて広範に評価され,ゲーム再生におけるゲーム状態の有用性と全体的な設計の有効性を実証する。
関連論文リスト
- Real-Time Neural-Enhancement for Online Cloud Gaming [31.971805571638942]
私たちは、クラウドゲームにおけるビデオセグメント機能は、通常反復的で冗長である、という観察に基づく、クラウドゲームデリバリフレームワークであるRiverを紹介します。
Riverは、さまざまなビデオセグメントのためのSRモデルを微調整し、ルックアップテーブルに格納するコンテンツ認識エンコーダを構築している。
クラウドゲームビデオストリームをオンラインで配信する際、Riverはビデオ機能をチェックし、最も関連性の高いSRモデルを取得してフレーム品質を向上させる。
論文 参考訳（メタデータ） (2025-01-12T17:28:09Z) - Compressed Domain Prior-Guided Video Super-Resolution for Cloud Gaming Content [39.55748992685093]
本稿では,圧縮ゲームビデオコンテンツにおけるSR問題に対処するため,CPGSR (Coding Prior-Guided Super-Resolution) と呼ばれる軽量ネットワークを提案する。
ビデオ符号化における量子化に着想を得て,高頻度情報の保存に焦点を合わせるために,分割された焦点周波数損失を提案する。
論文 参考訳（メタデータ） (2025-01-03T12:01:36Z) - Large Motion Video Autoencoding with Cross-modal Video VAE [52.13379965800485]
ビデオ可変オートエンコーダ(VAE)は、ビデオ冗長性を低減し、効率的なビデオ生成を容易にするために不可欠である。
既存のビデオVAEは時間圧縮に対処し始めているが、しばしば再建性能が不十分である。
本稿では,高忠実度ビデオエンコーディングが可能な,新規で強力なビデオオートエンコーダを提案する。
論文 参考訳（メタデータ） (2024-12-23T18:58:24Z) - GameIR: A Large-Scale Synthesized Ground-Truth Dataset for Image Restoration over Gaming Content [16.07538127436932]
我々は,空白を埋めるために,大規模コンピュータ合成地上トラスデータセットであるGameIRを開発した。
我々は,このタスクのために720pと1440pでレンダリングされた640本のビデオから,19200本のLR-HR対の地上構造フレームを提供する。
2つ目は、新しいビュー合成(NVS)であり、マルチビューフレームの一部をレンダリングおよび転送し、クライアント側で残りのフレームを生成するマルチビューゲーミングソリューションをサポートする。
論文 参考訳（メタデータ） (2024-08-29T19:11:46Z) - Real-Time Neural Video Recovery and Enhancement on Mobile Devices [15.343787475565836]
モバイル端末上でのリアルタイム映像強調のための新しい手法を提案する。
われわれのアプローチはiPhone 12で実装されており、毎秒30フレームをサポートすることができる(FPS)。
その結果,ビデオストリーミングシステムでは,QoEの24%～82%が顕著に増加した。
論文 参考訳（メタデータ） (2023-07-22T19:52:04Z) - Predictive Coding For Animation-Based Video Compression [13.161311799049978]
本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。
実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
論文 参考訳（メタデータ） (2023-07-09T14:40:54Z) - HNeRV: A Hybrid Neural Representation for Videos [56.492309149698606]
暗黙の神経表現は、動画をニューラルネットワークとして保存する。
ビデオ用ハイブリッドニューラル表現法(HNeRV)を提案する。
コンテンツ適応型埋め込みと再設計アーキテクチャにより、HNeRVはビデオレグレッションタスクにおいて暗黙のメソッドよりも優れる。
論文 参考訳（メタデータ） (2023-04-05T17:55:04Z) - ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。
本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。
提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-03-23T17:58:05Z) - EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。
リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。
提案手法は,MVAの計算とメモリ要求を大幅に低減する。
論文 参考訳（メタデータ） (2022-11-19T09:57:01Z) - Transcoded Video Restoration by Temporal Spatial Auxiliary Network [64.63157339057912]
本稿では,映像復元のための時間空間補助ネットワーク(TSAN)を提案する。
実験の結果,提案手法の性能は従来の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-12-15T08:10:23Z) - Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。
我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。
我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
論文 参考訳（メタデータ） (2021-07-24T15:57:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。