論文の概要: ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images
- arxiv url: http://arxiv.org/abs/2404.16825v1
- Date: Thu, 25 Apr 2024 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 12:41:33.889047
- Title: ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images
- Title(参考訳): ResVR: 全方位画像の同時再スケーリングとビューポートレンダリング
- Authors: Weiqi Li, Shijie Zhao, Bin Chen, Xinhua Cheng, Junlin Li, Li Zhang, Jian Zhang,
- Abstract要約: 我々は,ODIのRescalingとViewport Renderingを共同で行うための,初の総合的なフレームワークであるResVRを提案する。
ResVRでは、ビューポートとERPの複雑なマッピングに取り組むために、新しい離散画素サンプリング戦略を開発し、ResVRパイプラインのエンドツーエンドトレーニングを可能にした。
さらに、球面形状表現技術は、描画されたビューポートの視覚的品質を著しく向上させるために、球面微分から革新的に導出される。
- 参考スコア(独自算出の注目度): 17.962729118272627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advent of virtual reality technology, omnidirectional image (ODI) rescaling techniques are increasingly embraced for reducing transmitted and stored file sizes while preserving high image quality. Despite this progress, current ODI rescaling methods predominantly focus on enhancing the quality of images in equirectangular projection (ERP) format, which overlooks the fact that the content viewed on head mounted displays (HMDs) is actually a rendered viewport instead of an ERP image. In this work, we emphasize that focusing solely on ERP quality results in inferior viewport visual experiences for users. Thus, we propose ResVR, which is the first comprehensive framework for the joint Rescaling and Viewport Rendering of ODIs. ResVR allows obtaining LR ERP images for transmission while rendering high-quality viewports for users to watch on HMDs. In our ResVR, a novel discrete pixel sampling strategy is developed to tackle the complex mapping between the viewport and ERP, enabling end-to-end training of ResVR pipeline. Furthermore, a spherical pixel shape representation technique is innovatively derived from spherical differentiation to significantly improve the visual quality of rendered viewports. Extensive experiments demonstrate that our ResVR outperforms existing methods in viewport rendering tasks across different fields of view, resolutions, and view directions while keeping a low transmission overhead.
- Abstract(参考訳): 仮想現実技術の出現に伴い、高画質を保ちながら送信されたファイルサイズと保存されたファイルサイズを減らすため、全方位画像(ODI)再スケーリング技術がますます採用されている。
このような進展にもかかわらず、現在のODI再スケーリング手法は、頭部搭載ディスプレイ(HMD)で見るコンテンツが実際にはERP画像ではなく描画ビューポートであるという事実を無視する等角投影(ERP)フォーマットにおける画像の品質向上に重点を置いている。
本研究では,ERPの品質にのみ焦点をあてた結果,ユーザにとってビューポートの視覚的体験が劣っていることを強調する。
そこで我々は,ODIのリスケーリングとビューポートレンダリングを共同で行うための,初の包括的フレームワークであるResVRを提案する。
ResVRは、ユーザーがHMDで見るための高品質なビューポートをレンダリングしながら、伝送用のLR ERP画像を取得することができる。
ResVRでは、ビューポートとERPの複雑なマッピングに取り組むために、新しい離散画素サンプリング戦略を開発し、ResVRパイプラインのエンドツーエンドトレーニングを可能にした。
さらに、球面形状表現技術は、描画されたビューポートの視覚的品質を著しく向上させるために、球面微分から革新的に導出される。
我々のResVRは、様々な視野、解像度、方向のタスクにおいて、透過オーバーヘッドを低く保ちながら、既存のビューポートレンダリングタスクよりも優れています。
関連論文リスト
- Soft-IntroVAE for Continuous Latent space Image Super-Resolution [12.344557879284219]
連続潜時空間画像超解像(SVAE-SR)のためのソフトイントロVAEを提案する。
変分オートエンコーダにインスパイアされた連続潜時空間画像超解像(SVAE-SR)のためのソフトイントロVAEを提案する。
論文 参考訳(メタデータ) (2023-07-18T06:54:42Z) - Assessor360: Multi-sequence Network for Blind Omnidirectional Image
Quality Assessment [50.82681686110528]
Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。
ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。
Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-18T13:55:28Z) - Benchmark Dataset and Effective Inter-Frame Alignment for Real-World
Video Super-Resolution [65.20905703823965]
ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。
既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。
EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
論文 参考訳(メタデータ) (2022-12-10T17:41:46Z) - Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution [16.68091352547819]
MVISR(Multi-View Image Super-Resolution)タスクは、同じシーンから撮影されたマルチビュー画像の解像度を高めることを目的としている。
1つの解決策は、低解像度(LR)入力ビューからHR結果を再構成するために画像またはビデオ超解像(SR)手法を適用することである。
本稿では、幾何情報を用いて全てのLRマルチビューからシャープな詳細を抽出し、LR入力ビューのSRをサポートするMVSRnetを提案する。
論文 参考訳(メタデータ) (2022-07-18T13:46:47Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-04-19T17:59:45Z) - ResT: An Efficient Transformer for Visual Recognition [5.807423409327807]
本稿では、画像認識のための汎用バックボーンとして機能する、ResTと呼ばれる効率的なマルチスケール視覚変換器を提案する。
提案したResTは、最近の最先端のバックボーンよりも大きなマージンで、ResTの強力なバックボーンとしての可能性を示している。
論文 参考訳(メタデータ) (2021-05-28T08:53:54Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Multi-Grid Back-Projection Networks [18.291563524631986]
マルチグリッドバックプロジェクション(MGBP)は、アップスケールアーティファクトで画像やビデオを復元することを学ぶことができる完全な畳み込みネットワークアーキテクチャです。
本稿では,異なる解像度スケールの雑音入力を用いて,出力に発生する人工的詳細量の制御を行う手法を提案する。
論文 参考訳(メタデータ) (2021-01-01T03:17:34Z) - Deep Generative Adversarial Residual Convolutional Networks for
Real-World Super-Resolution [31.934084942626257]
我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。
これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。
提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
論文 参考訳(メタデータ) (2020-05-03T00:12:38Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z) - Towards Coding for Human and Machine Vision: A Scalable Image Coding
Approach [104.02201472370801]
圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。
高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。
実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
論文 参考訳(メタデータ) (2020-01-09T10:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。