論文の概要: Efficient Neural Video Representation with Temporally Coherent Modulation

• arxiv url: http://arxiv.org/abs/2505.00335v1
• Date: Thu, 01 May 2025 06:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.244173
• Title: Efficient Neural Video Representation with Temporally Coherent Modulation
• Title（参考訳）: 時間的コヒーレント変調による効率的なニューラルビデオ表現
• Authors: Seungjun Shin, Suji Kim, Dokwan Oh,
• Abstract要約: Inlicit Neural representations (INR) は様々な分野にまたがって成功している。 本稿では,映像の動的特徴を捉える新しいフレームワークである時間的コヒーレント変調(NVTM)を用いたニューラルビデオ表現を提案する。 本フレームワークは,時間的に時間的に対応可能な画素を一度に実現し,ビデオ品質の適切な符号化速度を実現する。
• 参考スコア（独自算出の注目度）: 6.339750087526286
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Implicit neural representations (INR) has found successful applications across diverse domains. To employ INR in real-life, it is important to speed up training. In the field of INR for video applications, the state-of-the-art approach employs grid-type parametric encoding and successfully achieves a faster encoding speed in comparison to its predecessors. However, the grid usage, which does not consider the video's dynamic nature, leads to redundant use of trainable parameters. As a result, it has significantly lower parameter efficiency and higher bitrate compared to NeRV-style methods that do not use a parametric encoding. To address the problem, we propose Neural Video representation with Temporally coherent Modulation (NVTM), a novel framework that can capture dynamic characteristics of video. By decomposing the spatio-temporal 3D video data into a set of 2D grids with flow information, NVTM enables learning video representation rapidly and uses parameter efficiently. Our framework enables to process temporally corresponding pixels at once, resulting in the fastest encoding speed for a reasonable video quality, especially when compared to the NeRV-style method, with a speed increase of over 3 times. Also, it remarks an average of 1.54dB/0.019 improvements in PSNR/LPIPS on UVG (Dynamic) (even with 10% fewer parameters) and an average of 1.84dB/0.013 improvements in PSNR/LPIPS on MCL-JCV (Dynamic), compared to previous grid-type works. By expanding this to compression tasks, we demonstrate comparable performance to video compression standards (H.264, HEVC) and recent INR approaches for video compression. Additionally, we perform extensive experiments demonstrating the superior performance of our algorithm across diverse tasks, encompassing super resolution, frame interpolation and video inpainting. Project page is https://sujiikim.github.io/NVTM/.
• Abstract（参考訳）: Inlicit Neural representations (INR) は様々な分野にまたがって成功している。 実生活でINRを採用するためには,トレーニングのスピードアップが重要である。 ビデオアプリケーションにおけるINRの分野では、最先端の手法ではグリッド型パラメトリック符号化を採用し、前者と比較して高速な符号化速度を実現している。 しかし、ビデオのダイナミックな性質を考慮しないグリッドの使用は、トレーニング可能なパラメータの冗長な使用につながる。 その結果、パラメトリック符号化を使用しないNeRV方式に比べてパラメータ効率が著しく低く、ビットレートも高い。 この問題に対処するために,ビデオの動的特性を捉える新しいフレームワークである,テンポラリコヒーレント変調(NVTM)を用いたニューラルビデオ表現を提案する。 時空間の3D映像データをフロー情報付き2次元グリッドに分解することにより、NVTMは映像表現を高速に学習し、パラメータを効率的に利用することができる。 我々のフレームワークは、時間的に対応するピクセルを一度に処理することができ、特にNeRVスタイルの手法と比較して3倍以上の速度で、適切なビデオ品質の符号化速度が最速となる。 また、UVG(Dynamic)ではPSNR/LPIPSが平均1.54dB/0.019、MCL-JCV(Dynamic)では平均1.84dB/LPIPSが平均1.84dB/0.013となっている。 これを圧縮タスクに拡張することにより、ビデオ圧縮標準(H.264, HEVC)に匹敵する性能と、ビデオ圧縮に対する最近のINRアプローチを示す。 さらに,超解像,フレーム補間,映像インパインティングなど,多種多様なタスクにまたがるアルゴリズムの優れた性能を示す広範な実験を行った。 プロジェクトページはhttps://sujiikim.github.io/NVTM/。

関連論文リスト

• Fast Encoding and Decoding for Implicit Video Representation [88.43612845776265]
  本稿では,高速エンコーディングのためのトランスフォーマーベースのハイパーネットワークであるNeRV-Encと,効率的なビデオローディングのための並列デコーダであるNeRV-Decを紹介する。 NeRV-Encは勾配ベースの最適化をなくすことで$mathbf104times$の素晴らしいスピードアップを実現している。 NeRV-Decはビデオデコーディングを単純化し、ロード速度が$mathbf11times$で従来のコーデックよりも高速である。
  論文  参考訳（メタデータ） (2024-09-28T18:21:52Z)
• NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
  強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。 NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。 提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
  論文  参考訳（メタデータ） (2024-02-28T13:00:32Z)
• HiNeRV: Video Compression with Hierarchical Encoding-based Neural Representation [14.088444622391501]
  Implicit Representations (INRs) は画像やビデオのコンテントの表現や圧縮に使われてきた。 既存のINRベースの手法は、ビデオ圧縮の最先端技術に匹敵する速度性能を達成できなかった。 軽量層と階層的位置符号化を組み合わせたINRであるHiNeRVを提案する。
  論文  参考訳（メタデータ） (2023-06-16T12:59:52Z)
• HNeRV: A Hybrid Neural Representation for Videos [56.492309149698606]
  暗黙の神経表現は、動画をニューラルネットワークとして保存する。 ビデオ用ハイブリッドニューラル表現法(HNeRV)を提案する。 コンテンツ適応型埋め込みと再設計アーキテクチャにより、HNeRVはビデオレグレッションタスクにおいて暗黙のメソッドよりも優れる。
  論文  参考訳（メタデータ） (2023-04-05T17:55:04Z)
• Towards Scalable Neural Representation for Diverse Videos [68.73612099741956]
  Inlicit Neural representations (INR)は、3Dシーンや画像の表現において注目を集めている。 既存のINRベースの手法は、冗長な視覚コンテンツを持つ短いビデオの符号化に限られている。 本稿では,多種多様な視覚コンテンツを持つ長編・多作ビデオの符号化のためのニューラル表現の開発に焦点をあてる。
  論文  参考訳（メタデータ） (2023-03-24T16:32:19Z)
• NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling [37.51397331485574]
  Inlicit Neural Representations (INR)は、最近、高品質なビデオ圧縮のための強力なツールであることが示されている。 これらの手法は、より長いビデオや高解像度にスケールしない固定されたアーキテクチャを持つ。 我々は,動画をフレーム群として扱うNIRVANAを提案し,パッチワイズ予測を行うグループ毎に個別のネットワークを適合させる。
  論文  参考訳（メタデータ） (2022-12-30T08:17:02Z)
• FFNeRV: Flow-Guided Frame-Wise Neural Representations for Videos [5.958701846880935]
  ビデオ中のフレーム間の時間的冗長性を利用するために,フロー情報をフレームワイズ表現に組み込む新しい手法であるFFNeRVを提案する。 モデル圧縮技術により、FFNeRVは広く使われている標準ビデオコーデック(H.264とHEVC)より優れ、最先端のビデオ圧縮アルゴリズムと同等に動作する。
  論文  参考訳（メタデータ） (2022-12-23T12:51:42Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。