論文の概要: Multi-View Video Coding with GAN Latent Learning
- arxiv url: http://arxiv.org/abs/2205.03599v1
- Date: Sat, 7 May 2022 08:52:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 16:46:37.790653
- Title: Multi-View Video Coding with GAN Latent Learning
- Title（参考訳）: GAN遅延学習によるマルチビュー映像符号化
- Authors: Chengdong Lan, Cheng Luo, Hao Yan, Tiesong Zhao, Sam Kwong
- Abstract要約: そこで我々は,Side Information (SI) Generative Adrial Network (GAN) に基づく多視点ビデオ符号化を提案する。
実験では,最先端手法と比較して,エントロピー・リバーサ時間性能が有意に向上した。
- 参考スコア（独自算出の注目度）: 64.48561198067699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The introduction of multiple viewpoints inevitably increases the bitrates to
store and transmit video scenes. To reduce the compressed bitrates, researchers
have developed to skip intermediate viewpoints during compression and delivery,
and finally reconstruct them with Side Information (SI). Generally, the depth
maps can be utilized to construct SI; however, it shows inferior performance
with inaccurate reconstruction or high bitrates. In this paper, we propose a
multi-view video coding based on SI of Generative Adversarial Network (GAN). At
the encoder, we construct a spatio-temporal Epipolar Plane Image (EPI) and
further utilize convolutional network to extract the latent code of GAN as SI;
while at the decoder side, we combine the SI and adjacent viewpoints to
reconstruct intermediate views by the generator of GAN. In particular, we set a
joint encoder constraint of reconstruction cost and SI entropy, in order to
achieve an optimal tradeoff between reconstruction quality and bitrate
overhead. Experiments show a significantly improved Rate-Distortion (RD)
performance compared with the state-of-the-art methods.
- Abstract（参考訳）: 複数の視点の導入は、必然的にビデオシーンの保存と送信のためのビットレートを増加させる。
圧縮ビットレートを低減するため、圧縮および配信中の中間視点を省略し、最後にサイド情報(SI)を用いて再構築する研究が開発された。
一般に深度マップを用いてSIを構築するが、不正確な再構成や高ビットレートでは性能が劣る。
本稿では,GAN(Generative Adversarial Network)のSIに基づく多視点映像符号化を提案する。
エンコーダでは、時空間のエピポーラ平面画像(EPI)を構築し、さらに畳み込みネットワークを利用して、GANの潜伏符号をSIとして抽出する。
特に,コンストラクション品質とビットレートオーバーヘッドの最適トレードオフを達成するために,コンストラクションコストとsiエントロピーの共役エンコーダ制約を設定する。
実験では、最先端の手法と比較してRD性能が大幅に改善された。
関連論文リスト
- $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。
現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。
具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。
再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
論文 参考訳（メタデータ） (2024-10-05T08:27:53Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - Neural Image Compression Using Masked Sparse Visual Representation [17.229601298529825]
本研究では,Sparse Visual Representation (SVR) に基づくニューラル画像圧縮について検討し,学習されたビジュアルコードブックにまたがる離散潜在空間に画像が埋め込まれた。
コードブックをデコーダと共有することにより、エンコーダは効率的でクロスプラットフォームなコードワードインデックスを転送する。
本稿では,マスクを潜在機能部分空間に適用して品質のバランスと再構築を行うMasked Adaptive Codebook Learning (M-AdaCode)法を提案する。
論文 参考訳（メタデータ） (2023-09-20T21:59:23Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - PINs: Progressive Implicit Networks for Multi-Scale Neural
Representations [68.73195473089324]
周波数符号化のインクリメンタルな集合に階層構造を露出するプログレッシブな位置符号化を提案する。
本モデルでは,広帯域のシーンを正確に再構成し,プログレッシブなディテールでシーン表現を学習する。
いくつかの2次元および3次元データセットの実験では、ベースラインと比較して、再構築精度、表現能力、トレーニング速度が改善されている。
論文 参考訳（メタデータ） (2022-02-09T20:33:37Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Spectral Compressive Imaging Reconstruction Using Convolution and
Contextual Transformer [6.929652454131988]
本稿では,CCoT(Contextual Transformer)ブロックというハイブリッドネットワークモジュールを提案する。
提案したCCoTブロックを,一般化された交互投影アルゴリズムに基づく深層展開フレームワークに統合し,さらにGAP-CTネットワークを提案する。
論文 参考訳（メタデータ） (2022-01-15T06:30:03Z) - Deep Video Coding with Dual-Path Generative Adversarial Network [39.19042551896408]
本稿では,DGVC(Double-path Generative Adversarial Network-based Video)という,効率的なコーデックを提案する。
我々のDGVCは、PSNR/MS-SSIMで平均ビット/ピクセル(bpp)を39.39%/54.92%削減する。
論文 参考訳（メタデータ） (2021-11-29T11:39:28Z) - Decomposition, Compression, and Synthesis (DCS)-based Video Coding: A
Neural Exploration via Resolution-Adaptive Learning [30.54722074562783]
入力映像をそれぞれの空間テクスチャフレーム(STF)に分解する。
次に,一般的なビデオコーダを用いて圧縮する。
最後に,デコードされたSTFとTMFをネイティブ入力と同じ解像度で合成し,高品質なビデオ再構成を実現する。
論文 参考訳（メタデータ） (2020-12-01T17:23:53Z) - End-to-End JPEG Decoding and Artifacts Suppression Using Heterogeneous
Residual Convolutional Neural Network [0.0]
既存のディープラーニングモデルは、デコードプロトコルからJPEGアーティファクトを独立したタスクとして分離する。
我々は、スペクトル分解とヘテロジニアス再構成機構を備えた真のエンド・ツー・エンドヘテロジニアス残畳み込みニューラルネットワーク(HR-CNN)を設計する。
論文 参考訳（メタデータ） (2020-07-01T17:44:00Z) - Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。
Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-22T04:04:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。