論文の概要: OPDN: Omnidirectional Position-aware Deformable Network for
Omnidirectional Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2304.13471v1
- Date: Wed, 26 Apr 2023 11:47:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 14:30:51.950801
- Title: OPDN: Omnidirectional Position-aware Deformable Network for
Omnidirectional Image Super-Resolution
- Title（参考訳）: opdn:全方位画像超解像のための全方位位置認識変形ネットワーク
- Authors: Xiaopeng Sun and Weiqi Li and Zhenyu Zhang and Qiufang Ma and Xuhan
Sheng and Ming Cheng and Haoyu Ma and Shijie Zhao and Jian Zhang and Junlin
Li and Li Zhang
- Abstract要約: 我々は360度全方位画像超解像のための2段階のフレームワークを提案する。
提案手法は,360deg全方位画像超解像のNTIRE 2023チャレンジにおいて,優れた性能を実現している。
- 参考スコア（独自算出の注目度）: 18.138867445188293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 360{\deg} omnidirectional images have gained research attention due to their
immersive and interactive experience, particularly in AR/VR applications.
However, they suffer from lower angular resolution due to being captured by
fisheye lenses with the same sensor size for capturing planar images. To solve
the above issues, we propose a two-stage framework for 360{\deg}
omnidirectional image superresolution. The first stage employs two branches:
model A, which incorporates omnidirectional position-aware deformable blocks
(OPDB) and Fourier upsampling, and model B, which adds a spatial frequency
fusion module (SFF) to model A. Model A aims to enhance the feature extraction
ability of 360{\deg} image positional information, while Model B further
focuses on the high-frequency information of 360{\deg} images. The second stage
performs same-resolution enhancement based on the structure of model A with a
pixel unshuffle operation. In addition, we collected data from YouTube to
improve the fitting ability of the transformer, and created pseudo
low-resolution images using a degradation network. Our proposed method achieves
superior performance and wins the NTIRE 2023 challenge of 360{\deg}
omnidirectional image super-resolution.
- Abstract（参考訳）: 360{\deg} 全方位画像は没入的かつインタラクティブな体験、特にAR/VRアプリケーションにおいて研究の注目を集めている。
しかし、魚眼レンズが平面像を撮影するために同じセンサーサイズで捉えたため、角分解能の低下に悩まされる。
そこで本稿では,360{\deg}全方位画像超解像のための2段階フレームワークを提案する。
第1段階では、全方位位置認識可能な変形可能なブロック(opdb)とフーリエアップサンプリング(fourier upsampling)を組み込んだモデルaと、モデルaに空間周波数融合モジュール(sff)を追加するモデルbの2つのブランチを用いる。
第2段は、画素アンシャッフル動作を有するモデルAの構造に基づいて同分解能向上を行う。
また,変換器の適合性を向上させるためにyoutubeからデータを収集し,劣化ネットワークを用いて擬似低解像度画像を作成した。
提案手法は,360{\deg} の全方位画像超解像における NTIRE 2023 チャレンジに勝っている。
関連論文リスト
- Customizing 360-Degree Panoramas through Text-to-Image Diffusion Models [38.70079108858637]
本稿では,T2I拡散モデルを用いた360度パノラマのカスタマイズに焦点を当てたアプローチを提案する。
これを実現するために、タスク用に特別に設計されたペア画像テキストデータセットをキュレートし、LoRAで事前学習したT2I拡散モデルを微調整する。
本稿では,合成画像の左端と右端の連続性を確保するためのStitchDiffusion法を提案する。
論文 参考訳（メタデータ） (2023-10-28T22:57:24Z) - Distortion-aware Transformer in 360{\deg} Salient Object Detection [44.74647420381127]
本稿では,歪み問題に対処するトランスフォーマーモデルDATFormerを提案する。
360degデータの特徴を利用するために,学習可能な関係行列を提案する。
我々のモデルは既存の2D SOD(salient object detection)法と360 SOD法より優れている。
論文 参考訳（メタデータ） (2023-08-07T07:28:24Z) - Generative Multiplane Neural Radiance for 3D-Aware Image Generation [102.15322193381617]
本稿では,複数のターゲットビューに対して連続した3次元高解像度画像を効率よく生成する手法を提案する。
我々のGMNRモデルは、単一のV100上で17.6FPSの1024×1024ピクセルの3D認識画像を生成する。
論文 参考訳（メタデータ） (2023-04-03T17:41:20Z) - Multi-Projection Fusion and Refinement Network for Salient Object
Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。
MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。
2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-12-23T14:50:40Z) - Neural Volume Super-Resolution [49.879789224455436]
本稿では,シーンの体積表現を直接操作する超解像ネットワークを提案する。
提案手法を実現するために,複数の2次元特徴面にヒンジを付ける新しい3次元表現法を提案する。
多様な3Dシーンの多視点一貫したビューを超解し,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-12-09T04:54:13Z) - View-aware Salient Object Detection for 360{\deg} Omnidirectional Image [33.43250302656753]
等角射影(ERP)にオブジェクトレベルの画素ワイドアノテーションを付加した大規模360度ISODデータセットを構築した。
そこで本研究では,SAVT(Sample Adaptive View Transformer)モジュールを用いたビューアウェア・サリエント物体検出手法を提案する。
論文 参考訳（メタデータ） (2022-09-27T07:44:08Z) - TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with
Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。
TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。
提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文 参考訳（メタデータ） (2022-03-22T07:15:13Z) - Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。
FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。
360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
論文 参考訳（メタデータ） (2022-02-07T14:01:59Z) - StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image
Synthesis [92.25145204543904]
StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。
ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。
高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
論文 参考訳（メタデータ） (2021-10-18T02:37:01Z) - Improved Transformer for High-Resolution GANs [69.42469272015481]
この課題に対処するために、Transformerに2つの重要な要素を紹介します。
実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
論文 参考訳（メタデータ） (2021-06-14T17:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。