論文の概要: Auto-Weighted Layer Representation Based View Synthesis Distortion
Estimation for 3-D Video Coding
- arxiv url: http://arxiv.org/abs/2201.02420v1
- Date: Fri, 7 Jan 2022 12:12:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-10 15:38:44.513846
- Title: Auto-Weighted Layer Representation Based View Synthesis Distortion
Estimation for 3-D Video Coding
- Title(参考訳): 自動重み付け層表現に基づく3次元映像符号化のためのビュー合成歪み推定
- Authors: Jian Jin, Xingxing Zhang, Lili Meng, Weisi Lin, Jie Liang, Huaxiang
Zhang, Yao Zhao
- Abstract要約: 本稿では,自動重み付け層表現に基づくビュー合成歪み推定モデルを提案する。
提案手法は, 精度, 効率の両面において, 最先端の手法よりも優れている。
- 参考スコア(独自算出の注目度): 78.53837757673597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, various view synthesis distortion estimation models have been
studied to better serve for 3-D video coding. However, they can hardly model
the relationship quantitatively among different levels of depth changes,
texture degeneration, and the view synthesis distortion (VSD), which is crucial
for rate-distortion optimization and rate allocation. In this paper, an
auto-weighted layer representation based view synthesis distortion estimation
model is developed. Firstly, the sub-VSD (S-VSD) is defined according to the
level of depth changes and their associated texture degeneration. After that, a
set of theoretical derivations demonstrate that the VSD can be approximately
decomposed into the S-VSDs multiplied by their associated weights. To obtain
the S-VSDs, a layer-based representation of S-VSD is developed, where all the
pixels with the same level of depth changes are represented with a layer to
enable efficient S-VSD calculation at the layer level. Meanwhile, a nonlinear
mapping function is learnt to accurately represent the relationship between the
VSD and S-VSDs, automatically providing weights for S-VSDs during the VSD
estimation. To learn such function, a dataset of VSD and its associated S-VSDs
are built. Experimental results show that the VSD can be accurately estimated
with the weights learnt by the nonlinear mapping function once its associated
S-VSDs are available. The proposed method outperforms the relevant
state-of-the-art methods in both accuracy and efficiency. The dataset and
source code of the proposed method will be available at
https://github.com/jianjin008/.
- Abstract(参考訳): 近年,3次元映像符号化のための様々なビュー合成歪み推定モデルが研究されている。
しかし、これらは、速度歪みの最適化とレートアロケーションに不可欠である、深さ変化、テクスチャ変性、ビュー合成歪み(VSD)の異なるレベルの関係を定量的にモデル化することは困難である。
本稿では,自己重み付け層表現に基づくビュー合成歪推定モデルを開発した。
第一に、サブVSD(S-VSD)は、深さ変化のレベルと関連するテクスチャ変性に基づいて定義される。
その後、理論上の導出により、VSDはS-VSDにほぼ分解され、関連する重みによって乗算されることを示した。
S−VSDを得るために、S−VSDの層ベース表現を開発し、この層レベルでの効率的なS−VSD計算を実現するために、同じ深さ変化のすべての画素を層で表現する。
一方、非線形写像関数はVSDとS-VSDの関係を正確に表現し、VSD推定中に自動的にS-VSDの重みを与える。
そのような機能を学ぶために、VSDとその関連S-VSDのデータセットを構築する。
実験の結果,S-VSDが利用可能になると,VSDは非線形マッピング関数によって学習された重みで正確に推定できることがわかった。
提案手法は, 精度と効率の両方において, 関連する最先端手法を上回っている。
提案手法のデータセットとソースコードはhttps://github.com/jianjin008/で入手できる。
関連論文リスト
- Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation
with Deterministic Sampling Prior [93.93402145259343]
スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。
テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。
実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
論文 参考訳(メタデータ) (2024-01-17T08:32:07Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D
Networks for 3D Coherent Layer Segmentation of Retinal OCT Images with Full
and Sparse Annotations [32.69359482975795]
本研究は, ハイブリッド2D-3D畳み込みニューラルネットワーク(CNN)を基盤として, OCTボリュームから連続した3次元網膜層表面を得るための新しい枠組みを提案する。
人工的データセットと3つのパブリックな臨床データセットの実験により、我々のフレームワークは、潜在的運動補正のためにBスキャンを効果的に調整できることを示した。
論文 参考訳(メタデータ) (2023-12-04T08:32:31Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - DS-MVSNet: Unsupervised Multi-view Stereo via Depth Synthesis [11.346448410152844]
本稿では,DS-MVSNetを提案する。DS-MVSNetは,ソース深度合成を備えたエンドツーエンドの教師なしMVS構造である。
確率体積の情報をマイニングするために、確率体積と深度仮説をソースビューにスプラッターすることで、ソース深度を創造的に合成する。
一方,ソース深度を利用して参照画像を描画し,奥行きの整合性損失と深さの滑らかさ損失を提案する。
論文 参考訳(メタデータ) (2022-08-13T15:25:51Z) - Stable View Synthesis [100.86844680362196]
安定ビュー合成(SVS)について紹介する。
SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。
SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
論文 参考訳(メタデータ) (2020-11-14T07:24:43Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。