論文の概要: Progressive Neural Representation for Sequential Video Compilation

• arxiv url: http://arxiv.org/abs/2306.11305v1
• Date: Tue, 20 Jun 2023 06:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 15:31:29.554843
• Title: Progressive Neural Representation for Sequential Video Compilation
• Title（参考訳）: 逐次ビデオコンパイルのためのプログレッシブニューラル表現
• Authors: Haeyong Kang, DaHyun Kim, Jaehong Yoon, Sung Ju Hwang, and Chang D Yoo
• Abstract要約: ビデオが連続的に到着するにつれて、暗黙的なビデオ表現の連続的な拡張について検討し、そこでは、現在のセッションからのみビデオにアクセスすることができる。 本稿では,ロタリー・ティケット仮説に基づく新しいニューラルビデオ表現,プログレッシブ・ニューラル・リ表現(PNR)を提案する。 本稿では,新しいUVG8/17ビデオシーケンスベンチマークにおいて,ニューラルシーケンシャルビデオ表現に対するPNRの有効性を示す。
• 参考スコア（独自算出の注目度）: 64.8914661343906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Implicit Representations (NIR) have gained significant attention recently due to their ability to represent complex and high-dimensional data. Unlike explicit representations, which require storing and manipulating individual data points, implicit representations capture information through a learned mapping function without explicitly representing the data points themselves. They often prune or quantize neural networks after training to accelerate encoding/decoding speed, yet we find that conventional methods fail to transfer learned representations to new videos. This work studies the continuous expansion of implicit video representations as videos arrive sequentially over time, where the model can only access the videos from the current session. We propose a novel neural video representation, Progressive Neural Representation (PNR), that finds an adaptive substructure from the supernet for a given video based on Lottery Ticket Hypothesis. At each training session, our PNR transfers the learned knowledge of the previously obtained subnetworks to learn the representation of the current video while keeping the past subnetwork weights intact. Therefore it can almost perfectly preserve the decoding ability (i.e., catastrophic forgetting) of the NIR on previous videos. We demonstrate the effectiveness of our proposed PNR on the neural sequential video representation compilation on the novel UVG8/17 video sequence benchmarks.
• Abstract（参考訳）: NIR(Neural Implicit Representations)は、複雑で高次元のデータを表現する能力によって近年注目されている。 個々のデータポイントの保存と操作を必要とする明示的な表現とは異なり、暗黙的な表現は、データポイント自体を明示的に表現することなく、学習されたマッピング機能を通じて情報をキャプチャする。 彼らはしばしば、符号化/復号速度を加速するためにトレーニング後にニューラルネットワークをプルークまたは量子化するが、従来の方法では学習した表現を新しいビデオに転送できない。 本研究は,現在セッションの映像のみにアクセス可能なビデオが連続的に到着するにつれて,暗黙的な映像表現の連続的な拡張について研究する。 そこで,本研究では,宝くじチケット仮説に基づくスーパーネットからの適応的なサブ構造を見出す,新しいニューラルビデオ表現であるprogressive neural representation (pnr)を提案する。 各トレーニングセッションでは,従来のサブネットワークの知識を伝達し,過去のサブネットワークの重みを保ちながら,現在のビデオの表現を学習する。 したがって、以前のビデオでNIRの復号能力(すなわち破滅的な忘れ方)をほぼ完全に保存することができる。 本稿では,新しいUVG8/17ビデオシーケンスベンチマークにおいて,ニューラルシーケンシャルビデオ表現に対するPNRの有効性を示す。

関連論文リスト

• NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
  強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。 NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。 提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
  論文  参考訳（メタデータ） (2024-02-28T13:00:32Z)
• Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
  Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。 本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:32:19Z)
• Towards Scalable Neural Representation for Diverse Videos [68.73612099741956]
  Inlicit Neural representations (INR)は、3Dシーンや画像の表現において注目を集めている。 既存のINRベースの手法は、冗長な視覚コンテンツを持つ短いビデオの符号化に限られている。 本稿では,多種多様な視覚コンテンツを持つ長編・多作ビデオの符号化のためのニューラル表現の開発に焦点をあてる。
  論文  参考訳（メタデータ） (2023-03-24T16:32:19Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural Residual Flow Fields for Efficient Video Representations [5.904082461511478]
  入射神経表現(INR)は、画像、ビデオ、3D形状などの信号を表現するための強力なパラダイムとして登場した。 本稿では,データ冗長性を明示的に取り除き,ビデオの表現と圧縮を行う新しいINR手法を提案する。 本稿では,提案手法がベースライン法よりも有意差で優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-12T06:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。