論文の概要: Applying VertexShuffle Toward 360-Degree Video Super-Resolution on Focused-Icosahedral-Mesh

• arxiv url: http://arxiv.org/abs/2106.11253v1
• Date: Mon, 21 Jun 2021 16:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 17:36:15.843397
• Title: Applying VertexShuffle Toward 360-Degree Video Super-Resolution on Focused-Icosahedral-Mesh
• Title（参考訳）: VertexShuffleの360度ビデオ超解法への応用
• Authors: Na Li and Yao Liu
• Abstract要約: We exploited Focused Icosahedral Mesh to represent a small area and construct matrices to rotation spherical content to the focus mesh area。 また,性能と効率を両立させる新しいVertexShuffle演算を提案する。 提案する球面超解像モデルでは,性能と推定時間の両方において大きなメリットが得られている。
• 参考スコア（独自算出の注目度）: 10.29596292902288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the emerging of 360-degree image/video, augmented reality (AR) and virtual reality (VR), the demand for analysing and processing spherical signals get tremendous increase. However, plenty of effort paid on planar signals that projected from spherical signals, which leading to some problems, e.g. waste of pixels, distortion. Recent advances in spherical CNN have opened up the possibility of directly analysing spherical signals. However, they pay attention to the full mesh which makes it infeasible to deal with situations in real-world application due to the extremely large bandwidth requirement. To address the bandwidth waste problem associated with 360-degree video streaming and save computation, we exploit Focused Icosahedral Mesh to represent a small area and construct matrices to rotate spherical content to the focused mesh area. We also proposed a novel VertexShuffle operation that can significantly improve both the performance and the efficiency compared to the original MeshConv Transpose operation introduced in UGSCNN. We further apply our proposed methods on super resolution model, which is the first to propose a spherical super-resolution model that directly operates on a mesh representation of spherical pixels of 360-degree data. To evaluate our model, we also collect a set of high-resolution 360-degree videos to generate a spherical image dataset. Our experiments indicate that our proposed spherical super-resolution model achieves significant benefits in terms of both performance and inference time compared to the baseline spherical super-resolution model that uses the simple MeshConv Transpose operation. In summary, our model achieves great super-resolution performance on 360-degree inputs, achieving 32.79 dB PSNR on average when super-resoluting 16x vertices on the mesh.
• Abstract（参考訳）: 360度画像/ビデオ、拡張現実(AR)、仮想現実(VR)の出現に伴い、球面信号の分析と処理の需要は大幅に増大する。 しかし、球面信号から投影される平面信号に多くの労力が費やされ、例えばいくつかの問題を引き起こした。 ピクセルの無駄 歪み 近年の球面cnnの進歩により、球面信号を直接解析する可能性が開けている。 しかし、非常に大きな帯域幅の要求のため、現実世界のアプリケーションの状況に対処できないようなフルメッシュに注意を払っている。 360度ビデオストリーミングと保存計算に関連する帯域浪費問題に対処するため,我々はFocused Icosahedral Meshを用いて小さな領域を表現し,球状コンテンツを集中メッシュ領域に回転させる行列を構築した。 また,ugscnn で導入された meshconv transpose 操作と比較して,性能と効率を著しく改善できる新しい頂点シャッフル動作を提案した。 さらに,提案手法を超解像モデルに適用し,360度データの球面画素のメッシュ表現を直接操作する球面超解像モデルを提案する。 モデルを評価するために,高解像度の360度ビデオの集合を収集し,球面画像データセットを生成する。 提案する球面超解像モデルは,単純なmeshconv転置操作を用いたベースライン球面超解像モデルと比較して,性能と推論時間の両方において有意な利点があることを示す。 要約すると、我々のモデルは360度入力において優れた超解像性能を達成し、メッシュ上で16x頂点を超解像すると平均32.79dBPSNRを達成する。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。 ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• OPDN: Omnidirectional Position-aware Deformable Network for Omnidirectional Image Super-Resolution [18.138867445188293]
  我々は360度全方位画像超解像のための2段階のフレームワークを提案する。 提案手法は,360deg全方位画像超解像のNTIRE 2023チャレンジにおいて,優れた性能を実現している。
  論文  参考訳（メタデータ） (2023-04-26T11:47:40Z)
• Balanced Spherical Grid for Egocentric View Synthesis [6.518792457424123]
  EgoNeRFは、VR資産のための大規模な現実世界環境を再構築するための実用的なソリューションである。 カジュアルにキャプチャされた360度ビデオを数秒間与えると、EgoNeRFは効率的に神経放射場を作ることができる。
  論文  参考訳（メタデータ） (2023-03-22T09:17:01Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
  本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。 大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-10-08T17:58:20Z)
• SphereSR: 360{\deg} Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation [27.10716804733828]
  LR 360デジメージから連続的な球面画像表現を生成するための新しいフレームワークを提案する。 具体的には、まず、イコサヘドロンに基づく球面データを表す特徴抽出モジュールを提案する。 次に、球面座標におけるRGB値を予測するために、球面局所暗黙画像関数(SLIIF)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T10:16:51Z)
• Robust 360-8PA: Redesigning The Normalized 8-point Algorithm for 360-FoV Images [53.11097060367591]
  球面投影における360-fov画像から本質行列を推定する新しい手法を提案する。 我々の正規化は、時間を大幅に上回ることなく、カメラの精度を約20%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-04-22T07:23:11Z)
• Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
  同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。 当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。 回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-18T19:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。