論文の概要: Palantir: Towards Efficient Super Resolution for Ultra-high-definition Live Streaming

• arxiv url: http://arxiv.org/abs/2408.06152v2
• Date: Sat, 31 Aug 2024 12:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 16:51:50.565629
• Title: Palantir: Towards Efficient Super Resolution for Ultra-high-definition Live Streaming
• Title（参考訳）: Palantir: 超高精細ライブストリーミングのための高効率超解像を目指して
• Authors: Xinqi Jin, Zhui Zhu, Xikai Sun, Fan Dang, Jiangchuan Liu, Jingao Xu, Kebin Liu, Xinlei Chen, Yunhao Liu,
• Abstract要約: Palantirは、きめ細かいパッチレベルのスケジューリングを備えた、最初のニューラルネットワークで強化されたUHDライブストリーミングシステムである。 Palantirは、エンドツーエンドのレイテンシの5.7%未満で、無視可能なスケジュール遅延を発生させる。
• 参考スコア（独自算出の注目度）: 29.567573296006515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural enhancement through super-resolution (SR) deep neural networks (DNNs) opens up new possibilities for ultra-high-definition (UHD) live streaming over existing encoding and networking infrastructure. Yet, the heavy SR DNN inference overhead leads to severe deployment challenges. To reduce the overhead, existing systems propose to apply DNN-based SR only on carefully selected anchor frames while upscaling non-anchor frames via the lightweight reusing-based SR approach. However, frame-level scheduling is coarse-grained and fails to deliver optimal efficiency. In this work, we propose Palantir, the first neural-enhanced UHD live streaming system with fine-grained patch-level scheduling. Two novel techniques are incorporated into Palantir to select the most beneficial anchor patches and support latency-sensitive UHD live streaming applications. Firstly, under the guidance of our pioneering and theoretical analysis, Palantir constructs a directed acyclic graph (DAG) for lightweight yet accurate SR quality estimation under any possible anchor patch set. Secondly, to further optimize the scheduling latency, Palantir improves parallelizability by refactoring the computation subprocedure of the estimation process into a sparse matrix-matrix multiplication operation. The evaluation results suggest that Palantir incurs a negligible scheduling latency accounting for less than 5.7% of the end-to-end latency requirement. When compared to the naive method of applying DNN-based SR on all the frames, Palantir can reduce the SR DNN inference overhead by 20 times (or 60 times) while preserving 54.0-82.6% (or 32.8-64.0%) of the quality gain. When compared to the state-of-the-art real-time frame-level scheduling strategy, Palantir can reduce the SR DNN inference overhead by 80.1% at most (and 38.4% on average) without sacrificing the video quality.
• Abstract（参考訳）: 超解像度(SR)ディープニューラルネットワーク(DNN)によるニューラルエンハンスメントは、既存のエンコーディングとネットワークインフラストラクチャ上でのUHDライブストリーミングの新たな可能性を開く。 しかし、重いSR DNN推論のオーバーヘッドは、重大なデプロイメントの課題に繋がる。 オーバヘッドを低減するため、既存のシステムは、軽量リユースベースのSRアプローチにより非アンカーフレームをアップスケーリングしながら、慎重に選択されたアンカーフレームにのみDNNベースのSRを適用することを提案する。 しかし、フレームレベルのスケジューリングは粗い粒度であり、最適な効率が得られない。 本研究では,ニューラルネットワークによるUHDライブストリーミングシステムPalantirを提案する。 2つの新しいテクニックがPalantirに組み込まれ、最も有益なアンカーパッチを選択し、レイテンシに敏感なUHDライブストリーミングアプリケーションをサポートする。 まず、先駆的および理論的解析の指導のもと、Palantirは任意のアンカーパッチセットの下で、軽量かつ正確なSR品質推定のための有向非巡回グラフ(DAG)を構築した。 第2に、スケジューリング遅延をさらに最適化するために、Palantirは、推定プロセスの計算サブプロデューサをスパース行列行列行列乗算演算にリファクタリングすることにより、並列化性を向上させる。 評価結果は、Palantirが、エンドツーエンドのレイテンシ要件の5.7%未満で、無視可能なスケジュール遅延を発生していることを示唆している。 全てのフレームにDNNベースのSRを適用する単純な方法と比較すると、Palantirは品質向上の54.0-82.6%(または32.8-64.0%)を保ちながら、SR DNNの推測オーバーヘッドを20倍(60倍)削減することができる。 最先端のリアルタイムフレームレベルのスケジューリング戦略と比較すると、Palantirはビデオ品質を犠牲にすることなく、SR DNN推論のオーバーヘッドを最大80.1%(平均38.4%)削減することができる。

関連論文リスト

• Direct Training Needs Regularisation: Anytime Optimal Inference Spiking Neural Network [23.434563009813218]
  スパイキングニューラルネットワーク(SNN)は,次世代のニューラルネットワーク(ANN)として認識される 空間時間正規化(STR)と呼ばれる新しい正規化手法を導入する。 STRは各段階におけるスパイクの強さと膜電位の比を調節する。 これは、トレーニング中の空間的および時間的パフォーマンスを効果的にバランスさせ、最終的にはAnytime Optimal Inference (AOI) SNNとなる。
  論文  参考訳（メタデータ） (2024-04-15T15:57:01Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics [26.012783785622073]
  低画質のビデオは、品質の悪いカメラや、過度に圧縮/切断されたビデオストリーミングプロトコルのために、既存の監視システムによって収集される。 AccDecoderは、リアルタイムおよびニューラルネットワークベースのビデオ分析のための新しいアクセラレーションデコーダである。
  論文  参考訳（メタデータ） (2023-01-20T16:30:44Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency [8.590196535871343]
  スパイキングニューラルネットワーク(SNN)は、一般的に使用されるディープニューラルネットワーク(DNN)のエネルギー効率の良い代替品である 高推論レイテンシは、ディープSNNのエッジデプロイメントに重大な障害となる。 時間軸の単発推論を行うために,SNNの反復初期化・再訓練法を提案する。
  論文  参考訳（メタデータ） (2021-10-01T22:54:59Z)
• Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks [6.011954485684313]
  Spiking Neural Networks(SNN)は、従来のディープラーニング方法に代わる有望な選択肢です。 しかし、SNNの大きな欠点は、高い推論遅延である。 本稿では,SNNの空間的および時間的プルーニングを提案する。
  論文  参考訳（メタデータ） (2021-04-26T12:50:58Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。