論文の概要: ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images
- arxiv url: http://arxiv.org/abs/2404.16825v1
- Date: Thu, 25 Apr 2024 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 12:41:33.889047
- Title: ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images
- Title（参考訳）: ResVR: 全方位画像の同時再スケーリングとビューポートレンダリング
- Authors: Weiqi Li, Shijie Zhao, Bin Chen, Xinhua Cheng, Junlin Li, Li Zhang, Jian Zhang,
- Abstract要約: 我々は,ODIのRescalingとViewport Renderingを共同で行うための,初の総合的なフレームワークであるResVRを提案する。
ResVRでは、ビューポートとERPの複雑なマッピングに取り組むために、新しい離散画素サンプリング戦略を開発し、ResVRパイプラインのエンドツーエンドトレーニングを可能にした。
さらに、球面形状表現技術は、描画されたビューポートの視覚的品質を著しく向上させるために、球面微分から革新的に導出される。
- 参考スコア（独自算出の注目度）: 17.962729118272627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advent of virtual reality technology, omnidirectional image (ODI) rescaling techniques are increasingly embraced for reducing transmitted and stored file sizes while preserving high image quality. Despite this progress, current ODI rescaling methods predominantly focus on enhancing the quality of images in equirectangular projection (ERP) format, which overlooks the fact that the content viewed on head mounted displays (HMDs) is actually a rendered viewport instead of an ERP image. In this work, we emphasize that focusing solely on ERP quality results in inferior viewport visual experiences for users. Thus, we propose ResVR, which is the first comprehensive framework for the joint Rescaling and Viewport Rendering of ODIs. ResVR allows obtaining LR ERP images for transmission while rendering high-quality viewports for users to watch on HMDs. In our ResVR, a novel discrete pixel sampling strategy is developed to tackle the complex mapping between the viewport and ERP, enabling end-to-end training of ResVR pipeline. Furthermore, a spherical pixel shape representation technique is innovatively derived from spherical differentiation to significantly improve the visual quality of rendered viewports. Extensive experiments demonstrate that our ResVR outperforms existing methods in viewport rendering tasks across different fields of view, resolutions, and view directions while keeping a low transmission overhead.
- Abstract（参考訳）: 仮想現実技術の出現に伴い、高画質を保ちながら送信されたファイルサイズと保存されたファイルサイズを減らすため、全方位画像(ODI)再スケーリング技術がますます採用されている。
このような進展にもかかわらず、現在のODI再スケーリング手法は、頭部搭載ディスプレイ(HMD)で見るコンテンツが実際にはERP画像ではなく描画ビューポートであるという事実を無視する等角投影(ERP)フォーマットにおける画像の品質向上に重点を置いている。
本研究では,ERPの品質にのみ焦点をあてた結果,ユーザにとってビューポートの視覚的体験が劣っていることを強調する。
そこで我々は,ODIのリスケーリングとビューポートレンダリングを共同で行うための,初の包括的フレームワークであるResVRを提案する。
ResVRは、ユーザーがHMDで見るための高品質なビューポートをレンダリングしながら、伝送用のLR ERP画像を取得することができる。
ResVRでは、ビューポートとERPの複雑なマッピングに取り組むために、新しい離散画素サンプリング戦略を開発し、ResVRパイプラインのエンドツーエンドトレーニングを可能にした。
さらに、球面形状表現技術は、描画されたビューポートの視覚的品質を著しく向上させるために、球面微分から革新的に導出される。
我々のResVRは、様々な視野、解像度、方向のタスクにおいて、透過オーバーヘッドを低く保ちながら、既存のビューポートレンダリングタスクよりも優れています。
関連論文リスト
- 360U-Former: HDR Illumination Estimation with Panoramic Adapted Vision Transformers [21.393389135740712]
我々はGANとして360U-Formerを訓練し、限られた視野低ダイナミックレンジ画像(LDRI)からHDRIを生成する。
提案手法は,現在の照明推定プロトコルとデータセットを用いて評価する。
論文 参考訳（メタデータ） (2024-10-17T14:03:53Z) - Reconstructive Visual Instruction Tuning [64.91373889600136]
リコンストラクティブ・ビジュアル・インストラクション・チューニング(ROSS)は、視覚中心の監視信号を利用する大型マルチモーダル・モデル(LMM)のファミリーである。
入力画像の潜在表現を再構成し、正確なRGB値を直接回帰するのを避ける。
経験的に、ROSSは、異なるビジュアルエンコーダと言語モデルに対して、一貫して大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-12T15:54:29Z) - Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。
本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。
DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
論文 参考訳（メタデータ） (2024-08-04T16:09:46Z) - Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
論文 参考訳（メタデータ） (2024-05-23T09:13:36Z) - Soft-IntroVAE for Continuous Latent space Image Super-Resolution [12.344557879284219]
連続潜時空間画像超解像(SVAE-SR)のためのソフトイントロVAEを提案する。
変分オートエンコーダにインスパイアされた連続潜時空間画像超解像(SVAE-SR)のためのソフトイントロVAEを提案する。
論文 参考訳（メタデータ） (2023-07-18T06:54:42Z) - Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution [16.68091352547819]
MVISR(Multi-View Image Super-Resolution)タスクは、同じシーンから撮影されたマルチビュー画像の解像度を高めることを目的としている。
1つの解決策は、低解像度(LR)入力ビューからHR結果を再構成するために画像またはビデオ超解像(SR)手法を適用することである。
本稿では、幾何情報を用いて全てのLRマルチビューからシャープな詳細を抽出し、LR入力ビューのSRをサポートするMVSRnetを提案する。
論文 参考訳（メタデータ） (2022-07-18T13:46:47Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - Multi-Grid Back-Projection Networks [18.291563524631986]
マルチグリッドバックプロジェクション(MGBP)は、アップスケールアーティファクトで画像やビデオを復元することを学ぶことができる完全な畳み込みネットワークアーキテクチャです。
本稿では,異なる解像度スケールの雑音入力を用いて,出力に発生する人工的詳細量の制御を行う手法を提案する。
論文 参考訳（メタデータ） (2021-01-01T03:17:34Z) - Deep Generative Adversarial Residual Convolutional Networks for
Real-World Super-Resolution [31.934084942626257]
我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。
これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。
提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
論文 参考訳（メタデータ） (2020-05-03T00:12:38Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z) - Towards Coding for Human and Machine Vision: A Scalable Image Coding
Approach [104.02201472370801]
圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。
高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。
実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
論文 参考訳（メタデータ） (2020-01-09T10:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。