論文の概要: MCUCoder: Adaptive Bitrate Learned Video Compression for IoT Devices

• arxiv url: http://arxiv.org/abs/2411.19442v1
• Date: Fri, 29 Nov 2024 03:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:03.898789
• Title: MCUCoder: Adaptive Bitrate Learned Video Compression for IoT Devices
• Title（参考訳）: MCUCoder:IoTデバイスのための適応的ビットレート学習ビデオ圧縮
• Authors: Ali Hojjat, Janek Haberer, Olaf Landsiedel,
• Abstract要約: 本稿では,リソース制限型IoT設定に適した,オープンソースの適応型ビデオ圧縮モデルを提案する。 MCUCoderは10.5Kのパラメータと最小350KBのメモリを持つ超軽量エンコーダを備えている。
• 参考スコア（独自算出の注目度）: 0.44998333629984877
• License:
• Abstract: The rapid growth of camera-based IoT devices demands the need for efficient video compression, particularly for edge applications where devices face hardware constraints, often with only 1 or 2 MB of RAM and unstable internet connections. Traditional and deep video compression methods are designed for high-end hardware, exceeding the capabilities of these constrained devices. Consequently, video compression in these scenarios is often limited to M-JPEG due to its high hardware efficiency and low complexity. This paper introduces , an open-source adaptive bitrate video compression model tailored for resource-limited IoT settings. MCUCoder features an ultra-lightweight encoder with only 10.5K parameters and a minimal 350KB memory footprint, making it well-suited for edge devices and MCUs. While MCUCoder uses a similar amount of energy as M-JPEG, it reduces bitrate by 55.65% on the MCL-JCV dataset and 55.59% on the UVG dataset, measured in MS-SSIM. Moreover, MCUCoder supports adaptive bitrate streaming by generating a latent representation that is sorted by importance, allowing transmission based on available bandwidth. This ensures smooth real-time video transmission even under fluctuating network conditions on low-resource devices. Source code available at https://github.com/ds-kiel/MCUCoder.
• Abstract（参考訳）: カメラベースのIoTデバイスの急速な成長は、特にハードウェア制約に直面しているエッジアプリケーションにおいて、特に1MBまたは2MBのRAMと不安定なインターネット接続しか持たない、効率的なビデオ圧縮を必要としている。 従来のディープビデオ圧縮方式はハイエンドハードウェア向けに設計されており、これらの制約されたデバイスの能力を超えている。 したがって、これらのシナリオにおけるビデオ圧縮は、ハードウェア効率が高く、複雑さが低いため、しばしばM-JPEGに制限される。 本稿では、リソース制限型IoT設定に適した、オープンソースの適応ビットレートビデオ圧縮モデルである.NETについて紹介する。 MCUCoderは10.5Kのパラメータと350KBのメモリフットプリントしか持たない超軽量のエンコーダを備えており、エッジデバイスやMCUにも適している。 MCUCoderはM-JPEGと同じ量のエネルギーを使用するが、MCL-JCVデータセットでは55.65%、UVGデータセットでは55.59%、MS-SSIMで測定されている。 さらに、MCUCoderは、重要度によってソートされる潜在表現を生成することで、適応ビットレートストリーミングをサポートし、利用可能な帯域幅に基づいた伝送を可能にする。 これにより、低リソースデバイス上でネットワーク条件が変動しても、スムーズなリアルタイムビデオ伝送が可能になる。 ソースコードはhttps://github.com/ds-kiel/MCUCoder.comで入手できる。

関連論文リスト

• REDUCIO! Generating 1024$\times$1024 Video within 16 Seconds using Extremely Compressed Motion Latents [110.41795676048835]
  大規模アプリケーションにとって重要な障害のひとつは、高価なトレーニングと推論コストである。 本稿では,ビデオには画像よりもはるかに冗長な情報が含まれており,非常に少ない動きの潜伏者によってエンコード可能であることを論じる。 我々は、合計3.2Kのトレーニング時間でReduceio-DiTをトレーニングし、1つのA100 GPUで15.5秒以内に16フレームの1024*1024ビデオクリップを生成する。
  論文  参考訳（メタデータ） (2024-11-20T18:59:52Z)
• Fast Encoding and Decoding for Implicit Video Representation [88.43612845776265]
  本稿では,高速エンコーディングのためのトランスフォーマーベースのハイパーネットワークであるNeRV-Encと,効率的なビデオローディングのための並列デコーダであるNeRV-Decを紹介する。 NeRV-Encは勾配ベースの最適化をなくすことで$mathbf104times$の素晴らしいスピードアップを実現している。 NeRV-Decはビデオデコーディングを単純化し、ロード速度が$mathbf11times$で従来のコーデックよりも高速である。
  論文  参考訳（メタデータ） (2024-09-28T18:21:52Z)
• CMC-Bench: Towards a New Paradigm of Visual Signal Compression [85.1839779884282]
  本稿では,画像圧縮のための画像間テキスト(I2T)モデルとテキスト間画像(T2I)モデルの協調性能のベンチマークであるCMC-Benchを紹介する。 超低速では、いくつかのI2TモデルとT2Iモデルの組み合わせが、最も先進的な視覚信号プロトコルを超えたことが証明されている。
  論文  参考訳（メタデータ） (2024-06-13T17:41:37Z)
• MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
  本稿では,マルチモーダル画像セマンティック圧縮法を提案する。 画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。 知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
  論文  参考訳（メタデータ） (2024-02-26T17:11:11Z)
• NU-Class Net: A Novel Approach for Video Quality Enhancement [1.7763979745248648]
  本稿では,圧縮コーデックによる圧縮アーチファクトの軽減を目的とした,革新的な深層学習モデルであるNU-Class Netを紹介する。 NU-Class Netを利用することで、ビデオキャプチャノード内のビデオエンコーダは出力品質を低下させ、低ビットレートのビデオを生成することができる。 実験により,低ビットレートでストリーミングされたビデオの知覚品質を高めるためのモデルの有効性が確認された。
  論文  参考訳（メタデータ） (2024-01-02T11:46:42Z)
• Deep Learning-Based Real-Time Quality Control of Standard Video Compression for Live Streaming [31.285983939625098]
  リアルタイム深層学習に基づくH.264コントローラを提案する。 最小遅延でビデオチャンクの内容に基づいて最適なエンコーダパラメータを推定する。 平均帯域使用量の最大2.5倍の改善を実現している。
  論文  参考訳（メタデータ） (2023-11-21T18:28:35Z)
• Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms [35.76050232152349]
  省電力・計算資源の少ないモバイルプラットフォーム上で, BMVCの超低コスト化が提案されている。 ディープニューラルネットワークによって実装された2種類のBMVCデコーダを提示する。
  論文  参考訳（メタデータ） (2022-05-07T16:20:09Z)
• Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement [74.1052624663082]
  圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。 これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。 我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
  論文  参考訳（メタデータ） (2022-01-31T18:56:04Z)
• Learning to Compress Videos without Computing Motion [39.46212197928986]
  動き推定を必要としない新しいディープラーニングビデオ圧縮アーキテクチャを提案する。 本フレームワークでは,映像のフレーム差分を映像表現として利用することにより,映像の動きに固有の規則性を利用する。 実験の結果,Motionless VIdeo Codec (MOVI-Codec) と呼ばれる圧縮モデルは,動きを計算せずに効率的に動画を圧縮する方法を学習することがわかった。
  論文  参考訳（メタデータ） (2020-09-29T15:49:25Z)
• Learning for Video Compression with Hierarchical Quality and Recurrent Enhancement [164.7489982837475]
  本稿では,階層型ビデオ圧縮(HLVC)手法を提案する。 我々のHLVCアプローチでは、エンコーダ側とデコーダ側の低品質フレームの圧縮と強化を容易にするため、階層的品質は符号化効率の恩恵を受ける。
  論文  参考訳（メタデータ） (2020-03-04T09:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。