論文の概要: Data-driven Video Codec with Implicit Neural Representations
- arxiv url: http://arxiv.org/abs/2607.15298v1
- Date: Thu, 02 Jul 2026 17:11:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.024679
- Title: Data-driven Video Codec with Implicit Neural Representations
- Title（参考訳）: 暗黙的ニューラル表現を用いたデータ駆動型ビデオコーデック
- Abstract要約: ビデオは、時空座標をRGB値とオーディオ振幅にマッピングする単一正弦波表現ネットワーク(SIREN)の重みとして保存する。
オーバーフィットした教師ネットワークは、応答に基づく知識蒸留によってより小さな学生に圧縮される。
1ビットから32ビットまでのビット幅の量子化は、再構成の品質が16ビットで飽和することを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A conventional codec stores a video as compressed pixel data. We instead store the video, together with its audio track, as the weights of a single sinusoidal representation network (SIREN) that maps space-time coordinates to RGB values and audio amplitudes. The network uses separate audio and video initialization layers, a stack of shared fully connected hidden layers, and three output branches: one for video and two Siamese audio branches whose disagreement is used to estimate and subtract residual noise. The overfitted teacher network is then compressed by response-based knowledge distillation into a smaller student, followed by 16-bit symmetric weight quantization and lossless LZMA2 (xz) encoding. On a 6.08 MiB test video, the quantized student reaches a video PSNR of 28.72 dB with SSIM of 0.75, and an audio PSNR of 24.18 dB with a log spectral distance of 10.69 dB, while the pipeline shrinks the representation from 9.05 MiB to 2.33 MiB, an overall compression ratio of 2.61. A bit-width sweep from 1-bit to 32-bit quantization shows that reconstruction quality saturates at 16 bits. We compare against H.264, HEVC, and MP3, report where the approach falls short of them, and describe a browser-based prototype that trains, transfers, and decodes these models over WebRTC.
- Abstract（参考訳）: 従来のコーデックは、ビデオを圧縮画素データとして記憶する。
代わりに、そのビデオとオーディオトラックを、時空座標をRGB値とオーディオ振幅にマッピングする単一の正弦波表現ネットワーク(SIREN)の重みとして保存する。
ネットワークは、別々のオーディオおよびビデオの初期化レイヤ、共有された完全に接続された隠れレイヤのスタック、および3つの出力ブランチを使用する。
その後、教師ネットワークは、反応に基づく知識蒸留によってより小さな学生に圧縮され、16ビット対称量量子化と損失のないLZMA2(xz)エンコーディングが続く。
6.08 MiBテストビデオでは、量子化学生がビデオPSNR28.72 dB、SSIM0.75、音声PSNR24.18 dB、対数スペクトル距離10.69 dBに達し、パイプラインが表現を9.05 MiBから2.33 MiBに縮小し、全体的な圧縮比2.61となる。
1ビットから32ビットまでのビット幅の量子化は、再構成の品質が16ビットで飽和することを示している。
H.264、HEVC、MP3と比較し、アプローチが不足していることを報告し、WebRTC上でこれらのモデルをトレーニング、転送、デコードするブラウザベースのプロトタイプを記述します。
関連論文リスト
- ReGenVC: End-to-End Real-Time Generative Video Coding at Ultra-Low Bitrate [10.718733716698333]
ReGenVCは、トーキングヘッドビデオを超低ビットストリームに圧縮し、リアルタイムでデコードする、エンドツーエンドの生成ビデオシステムである。
4段階蒸留と3つのモデル保存システム技術を用いてデコーダをリアルタイムに作成する。
論文 参考訳（メタデータ） (2026-07-30T12:52:51Z) - Wavelet as Tokenizer: Preliminary Results on a Shared Wavelet Token Schema for Natural Signals [0.0]
本稿では、音声、画像、ビデオが共通のウェーブレットトークンスキーマを共有することができるかどうかについて検討する。
Speech Commands、EuroSAT RGB、DAVIS 2017のデータでは、密度の高い共有モデルは39.92dBオーディオ、29.37dB画像、23.93dBビデオPSNRに達する。
論文 参考訳（メタデータ） (2026-05-30T14:59:57Z) - A Near-Raw Talking-Head Video Dataset for Various Computer Vision Tasks [19.742094573993132]
トーキングヘッドビデオはリアルタイムコミュニケーションにおける主要なコンテンツタイプである。
我々は847件のトーキングヘッド記録のほぼRAWデータセットをオープンソース化した。
このデータセットは、これまでで最大規模のトーキングヘッドWebカメラデータセットのスケールを5ドルタイムで提供する。
論文 参考訳（メタデータ） (2026-03-23T20:51:35Z) - DepthTCM: High Efficient Depth Compression via Physics-aware Transformer-CNN Mixed Architecture [0.866627581195388]
深度マップ圧縮のための物理対応のエンドツーエンドフレームワークであるDepthTCMを提案する。
99.38%の精度を維持しながらDepthTCMが0.307bppに達することを示す。
さらに、ScanNet++ iPhone RGB-Dサブセット上で、平均エンドツーエンドの推論時間41.48ms(エンコーダ)と47.45ms(デコーダ)を報告する。
論文 参考訳（メタデータ） (2026-03-22T13:43:49Z) - Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio [10.47114305738461]
我々は、様々な領域にわたるフル忠実度音声に対するLMベースの圧縮をベンチマークする。
フル解像度オーディオのためのバイトレベルのトークン化スキーマであるTrilobyteを提案する。
ビット深度が8ビットを超えると圧縮ゲインがより緩やかになるのが観察できる。
論文 参考訳（メタデータ） (2026-03-09T17:52:02Z) - TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos [51.99176811574457]
Inlicit Neural Representations (INRs) は、最近ビデオ圧縮における印象的な性能を実証した。
しかし、エンコーディング効率を維持しながら高解像度ビデオへのスケーリングは依然として大きな課題である。
3つの重要なコントリビューションを通じて、これらの基本的な制限に対処します。
我々は,UVG,HEVC,MCL-JCVで480p,720p,1080pで実験を行った最初のハイパーネットワークアプローチである。
論文 参考訳（メタデータ） (2026-02-18T18:59:55Z) - Hierarchical Vector-Quantized Latents for Perceptual Low-Resolution Video Compression [1.332091725929965]
低解像度ビデオのコンパクトかつ高忠実な潜在表現を生成するために設計されたマルチスケールベクトル量子変分オートコーダ(MS-VQ-VAE)を提案する。
我々のアーキテクチャは、VQ-VAE-2フレームワークを指数展開設定に拡張し、3次元残差畳み込みで構築された2段階の潜伏構造を導入している。
提案フレームワークは、リアルタイムストリーミング、モバイル分析、CDNレベルのストレージ最適化など、帯域幅に敏感なシナリオにおけるスケーラブルなビデオ圧縮に適している。
論文 参考訳（メタデータ） (2025-12-31T01:07:17Z) - High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文 参考訳（メタデータ） (2022-10-24T17:52:02Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - A New Image Codec Paradigm for Human and Machine Uses [53.48873918537017]
本研究では,人間用と機械用の両方にスケーラブルな画像パラダイムを提案する。
高レベルのインスタンスセグメンテーションマップと低レベルの信号特徴をニューラルネットワークで抽出する。
画像は16ビットのグレースケールプロファイルと信号特徴を持つ一般的な画質のイメージ再構成を実現するために設計および訓練される。
論文 参考訳（メタデータ） (2021-12-19T06:17:38Z) - SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。
SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。
エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
論文 参考訳（メタデータ） (2021-07-07T15:45:42Z) - VGGSound: A Large-scale Audio-Visual Dataset [160.1604237188594]
オープンソースのメディアからオーディオデータセットを作成するために,スケーラブルなパイプラインを提案する。
このパイプラインを使用して、VGGSoundデータセットを310のオーディオクラス用に210万本以上のビデオでキュレートする。
得られたデータセットは、音声認識モデルのトレーニングと評価に使用することができる。
論文 参考訳（メタデータ） (2020-04-29T17:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。