論文の概要: PromptMobile: Efficient Promptus for Low Bandwidth Mobile Video Streaming

• arxiv url: http://arxiv.org/abs/2503.16112v1
• Date: Thu, 20 Mar 2025 13:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:31:21.365019
• Title: PromptMobile: Efficient Promptus for Low Bandwidth Mobile Video Streaming
• Title（参考訳）: PromptMobile:低帯域モバイルビデオストリーミングのための効率的なPromptus
• Authors: Liming Liu, Jiangkai Wu, Haoyang Wang, Peiheng Wang, Xinggong Zhang, Zongming Guo,
• Abstract要約: 本稿では、デバイス上でのPromptusに適した効率的なアクセラレーションフレームワークであるPromptMobileを提案する。 本稿では,計算コストを8.1倍に削減する2段階の効率的な生成フレームワークを提案する。 他のストリーミング手法と比較して、PromptMobileは平均LPIPSの改善を0.016(H.265と比較)し、重く歪んだフレームの60%(VQGANと比較)を削減した。
• 参考スコア（独自算出の注目度）: 18.32444457609669
• License:
• Abstract: Traditional video compression algorithms exhibit significant quality degradation at extremely low bitrates. Promptus emerges as a new paradigm for video streaming, substantially cutting down the bandwidth essential for video streaming. However, Promptus is computationally intensive and can not run in real-time on mobile devices. This paper presents PromptMobile, an efficient acceleration framework tailored for on-device Promptus. Specifically, we propose (1) a two-stage efficient generation framework to reduce computational cost by 8.1x, (2) a fine-grained inter-frame caching to reduce redundant computations by 16.6\%, (3) system-level optimizations to further enhance efficiency. The evaluations demonstrate that compared with the original Promptus, PromptMobile achieves a 13.6x increase in image generation speed. Compared with other streaming methods, PromptMobile achives an average LPIPS improvement of 0.016 (compared with H.265), reducing 60\% of severely distorted frames (compared to VQGAN).
• Abstract（参考訳）: 従来のビデオ圧縮アルゴリズムは、非常に低ビットレートで大幅な品質劣化を示す。 Promptusはビデオストリーミングの新しいパラダイムとして登場し、ビデオストリーミングに必要な帯域を大幅に削減した。 しかし、Promptusは計算集約的であり、モバイルデバイス上でリアルタイムに実行することはできない。 本稿では、デバイス上でのPromptusに適した効率的なアクセラレーションフレームワークであるPromptMobileを提案する。 具体的には,(1)計算コストを8.1倍に削減する2段階の効率的な生成フレームワーク,(2)冗長な計算を16.6\%削減する粒度間キャッシング,(3)システムレベルの最適化による効率の向上を提案する。 PromptMobile はオリジナルの Promptus と比較して,画像生成速度が 13.6 倍に向上したことを示す。 他のストリーミング手法と比較すると、PromptMobileは平均LPIPSの改善を0.016(H.265と比較)し、重く歪んだフレームの60%(VQGANと比較)を削減した。

関連論文リスト

• Mobile Video Diffusion [11.568267488097401]
  ビデオモデルは印象的なリアリズムと制御性を達成したが、計算要求によって制限されている。 本稿では,モバイル最適化ビデオ拡散モデルについて紹介する。 我々のモデルはMobileVDと呼ばれ、より効率が523倍(181対4.34 TFLOs)で、品質はわずかに低下する。
  論文  参考訳（メタデータ） (2024-12-10T15:19:10Z)
• REDUCIO! Generating 1024$\times$1024 Video within 16 Seconds using Extremely Compressed Motion Latents [110.41795676048835]
  大規模アプリケーションにとって重要な障害のひとつは、高価なトレーニングと推論コストである。 本稿では,ビデオには画像よりもはるかに冗長な情報が含まれており,非常に少ない動きの潜伏者によってエンコード可能であることを論じる。 我々は、合計3.2Kのトレーニング時間でReduceio-DiTをトレーニングし、1つのA100 GPUで15.5秒以内に16フレームの1024*1024ビデオクリップを生成する。
  論文  参考訳（メタデータ） (2024-11-20T18:59:52Z)
• Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
  拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。 本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。 また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
  論文  参考訳（メタデータ） (2024-11-04T18:59:44Z)
• Fast Encoding and Decoding for Implicit Video Representation [88.43612845776265]
  本稿では,高速エンコーディングのためのトランスフォーマーベースのハイパーネットワークであるNeRV-Encと,効率的なビデオローディングのための並列デコーダであるNeRV-Decを紹介する。 NeRV-Encは勾配ベースの最適化をなくすことで$mathbf104times$の素晴らしいスピードアップを実現している。 NeRV-Decはビデオデコーディングを単純化し、ロード速度が$mathbf11times$で従来のコーデックよりも高速である。
  論文  参考訳（メタデータ） (2024-09-28T18:21:52Z)
• PatchEX: High-Quality Real-Time Temporal Supersampling through Patch-based Parallel Extrapolation [0.4143603294943439]
  本稿では,フレーム外挿の高速化を目的とした新しいフレーム外挿法であるPatchEXを紹介する。 PatchEXは最新のExtraNetとExtraSSに比べて、PSNRの65.29%と48.46%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-05T13:59:05Z)
• Promptus: Can Prompts Streaming Replace Video Streaming with Stable Diffusion [6.093768205619601]
  本稿では,Stable Diffusionによるビデオコンテンツの代わりにプロンプトをストリーミングするシステムであるPromptusを提案する。 その結果, Promptus は VAE と H.265 と比較して知覚品質を0.111 と 0.092 (LPIPS) で向上させることができることがわかった。 われわれの研究は、シャノン限界を超えた効率的なビデオ通信のための新しいパラダイムを開拓する。
  論文  参考訳（メタデータ） (2024-05-30T13:16:48Z)
• Binarized Low-light Raw Video Enhancement [49.65466843856074]
  ディープニューラルネットワークは、低照度生ビデオの強化において優れたパフォーマンスを実現している。 本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-29T02:55:07Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• Prediction-assistant Frame Super-Resolution for Video Streaming [40.60863957681011]
  ロスフレームによる映像品質の向上を2つの場面で提案します。 最初のケースでは、小さいが効果的なビデオフレーム予測ネットワークを提案する。 第2のケースでは,現在のフレームと以前のフレームを関連付けるビデオ予測ネットワークを改善し,高品質な画像を復元する。
  論文  参考訳（メタデータ） (2021-03-17T06:05:27Z)
• Subjective and Objective Quality Assessment of High Frame Rate Videos [60.970191379802095]
  高フレームレート(HFR)ビデオは、スポーツなどのライブ、高アクションのストリーミングコンテンツが驚くほど人気を博し、ますます一般的になっている。 ライブYT-HFRデータセットは、6つの異なるフレームレートを持つ480のビデオで構成され、16の多様なコンテンツから得られる。 ビデオの主観的ラベルを得るために,85人の被験者のプールから得られた品質評価を19,000件取得した。
  論文  参考訳（メタデータ） (2020-07-22T19:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。