論文の概要: Real-Time Neural-Enhancement for Online Cloud Gaming

• arxiv url: http://arxiv.org/abs/2501.06880v1
• Date: Sun, 12 Jan 2025 17:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:22:30.271419
• Title: Real-Time Neural-Enhancement for Online Cloud Gaming
• Title（参考訳）: オンラインゲームのためのリアルタイムニューラルエンハンスメント
• Authors: Shan Jiang, Zhenhua Han, Haisheng Tan, Xinyang Jiang, Yifan Yang, Xiaoxi Zhang, Hongqiu Ni, Yuqing Yang, Xiang-Yang Li,
• Abstract要約: 私たちは、クラウドゲームにおけるビデオセグメント機能は、通常反復的で冗長である、という観察に基づく、クラウドゲームデリバリフレームワークであるRiverを紹介します。 Riverは、さまざまなビデオセグメントのためのSRモデルを微調整し、ルックアップテーブルに格納するコンテンツ認識エンコーダを構築している。 クラウドゲームビデオストリームをオンラインで配信する際、Riverはビデオ機能をチェックし、最も関連性の高いSRモデルを取得してフレーム品質を向上させる。
• 参考スコア（独自算出の注目度）: 31.971805571638942
• License:
• Abstract: Online Cloud gaming demands real-time, high-quality video transmission across variable wide-area networks (WANs). Neural-enhanced video transmission algorithms employing super-resolution (SR) for video quality enhancement have effectively challenged WAN environments. However, these SR-based methods require intensive fine-tuning for the whole video, making it infeasible in diverse online cloud gaming. To address this, we introduce River, a cloud gaming delivery framework designed based on the observation that video segment features in cloud gaming are typically repetitive and redundant. This permits a significant opportunity to reuse fine-tuned SR models, reducing the fine-tuning latency of minutes to query latency of milliseconds. To enable the idea, we design a practical system that addresses several challenges, such as model organization, online model scheduler, and transfer strategy. River first builds a content-aware encoder that fine-tunes SR models for diverse video segments and stores them in a lookup table. When delivering cloud gaming video streams online, River checks the video features and retrieves the most relevant SR models to enhance the frame quality. Meanwhile, if no existing SR model performs well enough for some video segments, River will further fine-tune new models and update the lookup table. Finally, to avoid the overhead of streaming model weight to the clients, River designs a prefetching strategy that predicts the models with the highest possibility of being retrieved. Our evaluation based on real video game streaming demonstrates River can reduce redundant training overhead by 44% and improve the Peak-Signal-to-Noise-Ratio by 1.81dB compared to the SOTA solutions. Practical deployment shows River meets real-time requirements, achieving approximately 720p 20fps on mobile devices.
• Abstract（参考訳）: オンラインクラウドゲームは、可変ワイドエリアネットワーク(WAN)を介してリアルタイムで高品質なビデオ伝送を要求する。 映像品質向上のための超解像(SR)を用いたニューラルエンハンスドビデオ伝送アルゴリズムは,WAN環境に効果的に挑戦している。 しかし、これらのSRベースの手法は、ビデオ全体に対して集中的な微調整を必要とするため、多様なオンラインクラウドゲームでは実現不可能である。 これを解決するために、クラウドゲームにおけるビデオセグメント機能は、通常反復的で冗長である、という観察に基づいて設計された、クラウドゲームデリバリフレームワークであるRiverを紹介します。 これにより、微調整されたSRモデルを再利用する大きな機会が得られ、ミリ秒のクエリ待ち時間に対する微調整のレイテンシを低減できる。 このアイデアを実現するために、モデル組織、オンラインモデルスケジューラ、転送戦略など、いくつかの課題に対処する実用的なシステムを設計する。 Riverはまず、さまざまなビデオセグメントのためのSRモデルを微調整し、ルックアップテーブルに格納するコンテンツ認識エンコーダを構築する。 クラウドゲームビデオストリームをオンラインで配信する際、Riverはビデオ機能をチェックし、最も関連性の高いSRモデルを取得してフレーム品質を向上させる。 一方、既存のSRモデルが一部のビデオセグメントで十分に機能しない場合、Riverは新たなモデルをさらに微調整し、ルックアップテーブルを更新する。 最後に、クライアントへのストリーミングモデルの重み付けのオーバーヘッドを避けるため、Riverは、検索される可能性が最も高いモデルを予測するプリフェッチ戦略を設計する。 実ゲームストリーミングに基づく評価では、Riverは冗長なトレーニングオーバーヘッドを44%削減し、Pak-Signal-to-Noise-RatioをSOTAソリューションと比較して1.81dB改善できることを示した。 Riverはモバイルデバイス上で約720pの20fpsを実現している。

関連論文リスト

• RAIN: Real-time Animation of Infinite Video Stream [52.97171098038888]
  RAINは、低レイテンシで、無限のビデオストリームをリアルタイムでアニメーションできるパイプラインソリューションである。 RAINは、より短いレイテンシと高速な速度でビデオフレームを生成すると同時に、拡張されたビデオストリームに対する長距離の注意を維持する。 RAINは、競合他社よりもはるかに優れた品質、正確性、一貫性で、リアルタイムにキャラクタをアニメーションすることができる。
  論文  参考訳（メタデータ） (2024-12-27T07:13:15Z)
• SnapGen-V: Generating a Five-Second Video within Five Seconds on a Mobile Device [61.42406720183769]
  本稿では,大規模ビデオ拡散モデルのパワーをエッジユーザーにもたらすための包括的加速フレームワークを提案する。 我々のモデルは0.6Bのパラメータしか持たないため、iPhone 16 PMで5秒以内に5秒のビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-12-13T18:59:56Z)
• Data Overfitting for On-Device Super-Resolution with Dynamic Algorithm and Compiler Co-Design [18.57172631588624]
  本稿では,Content-Awareデータ処理パイプラインが支援する動的ディープニューラルネットワークを提案する。 本手法は,市販携帯電話上でのPSNRとリアルタイム性能(33FPS)の向上を実現する。
  論文  参考訳（メタデータ） (2024-07-03T05:17:26Z)
• IDF-CR: Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images [55.40601468843028]
  雲除去のための反復拡散過程(IDF-CR)を提案する。 IDF-CRは、ピクセル空間と潜在空間に対処する2段階のモデルに分けられる。 潜時空間の段階では、拡散モデルは低品質の雲の除去を高品質のクリーンな出力に変換する。
  論文  参考訳（メタデータ） (2024-03-18T15:23:48Z)
• Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices [11.530719133935847]
  本稿では,クラウドゲームにおいて,失われたビデオフレームや破損したビデオフレームを復元する新しい手法を提案する。 従来のビデオフレームのリカバリとは異なり,本手法ではゲーム状態を用いてリカバリ精度を大幅に向上させる。 我々は, (i) ゲーム状態の効率的な抽出, (ii) H.264 ビデオデコーダの修正, (iii) ビデオフレームのどの部分の回復が必要なのかを示すマスクの生成, (iii) 完全あるいは部分的なビデオフレームを復元する新しいニューラルネットワークを設計した。
  論文  参考訳（メタデータ） (2023-07-15T16:45:01Z)
• GAMIVAL: Video Quality Prediction on Mobile Cloud Gaming Content [30.96557290048384]
  我々はGAMIVAL(Gaming Video Quality Evaluator)と呼ばれるゲーム固有のNR VQAモデルを開発した。 サポートベクタ回帰(SVR)を回帰器として使用するGAMIVALは,新たなLIVE-Meta Mobile Cloud Gaming(LIVE-Meta MCG)ビデオ品質データベースにおいて,優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-03T20:29:04Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• Towards High-Quality and Efficient Video Super-Resolution via Spatial-Temporal Data Overfitting [27.302681897961588]
  ディープ畳み込みニューラルネットワーク(DNN)はコンピュータビジョンの様々な分野で広く使われている。 高品質で効率的なビデオ解像度アップスケーリングタスクのための新しい手法を提案する。 市販の携帯電話にモデルをデプロイし,実験結果から,映像品質の高いリアルタイムビデオ解像度を実現することが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:40:02Z)
• A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning [31.712746462418693]
  本稿では、クライアント-フォグクラウドのシナジーをフル活用して、DNNベースのビデオ分析に役立てる最初のサーバーレスシステムを提案する。 この目的のために、V(Video-Platform-as-a-Service)と呼ばれる総合的なクラウドフォッグシステムを実装した。 評価の結果、Vは複数のSOTAシステムよりも優れており、高い精度を維持しながら帯域幅を最大21%削減し、RTTを最大62.5%削減し、クラウドの金融コストを最大50%削減している。
  論文  参考訳（メタデータ） (2021-02-05T05:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。