論文の概要: OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression

• arxiv url: http://arxiv.org/abs/2107.09179v1
• Date: Mon, 19 Jul 2021 22:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 14:52:46.389299
• Title: OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression
• Title（参考訳）: OSLO:全方位画像の球面学習と360度画像圧縮への応用
• Authors: Navid Mahmoudian Bidgoli, Roberto G. de A. Azevedo, Thomas Maugey, Aline Roumy, Pascal Frossard
• Abstract要約: 全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。 提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
• 参考スコア（独自算出の注目度）: 59.58879331876508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art 2D image compression schemes rely on the power of convolutional neural networks (CNNs). Although CNNs offer promising perspectives for 2D image compression, extending such models to omnidirectional images is not straightforward. First, omnidirectional images have specific spatial and statistical properties that can not be fully captured by current CNN models. Second, basic mathematical operations composing a CNN architecture, e.g., translation and sampling, are not well-defined on the sphere. In this paper, we study the learning of representation models for omnidirectional images and propose to use the properties of HEALPix uniform sampling of the sphere to redefine the mathematical tools used in deep learning models for omnidirectional images. In particular, we: i) propose the definition of a new convolution operation on the sphere that keeps the high expressiveness and the low complexity of a classical 2D convolution; ii) adapt standard CNN techniques such as stride, iterative aggregation, and pixel shuffling to the spherical domain; and then iii) apply our new framework to the task of omnidirectional image compression. Our experiments show that our proposed on-the-sphere solution leads to a better compression gain that can save 13.7% of the bit rate compared to similar learned models applied to equirectangular images. Also, compared to learning models based on graph convolutional networks, our solution supports more expressive filters that can preserve high frequencies and provide a better perceptual quality of the compressed images. Such results demonstrate the efficiency of the proposed framework, which opens new research venues for other omnidirectional vision tasks to be effectively implemented on the sphere manifold.
• Abstract（参考訳）: 最先端の2D画像圧縮スキームは畳み込みニューラルネットワーク(CNN)のパワーに依存している。 CNNは2次元画像圧縮に有望な視点を提供するが、そのようなモデルを全方位画像に拡張することは容易ではない。 第一に、全方位画像は、現在のcnnモデルでは完全には捉えられない特定の空間的・統計的特性を有する。 第二に、CNNアーキテクチャを構成する基本的な数学的操作、例えば翻訳とサンプリングは、球面上でうまく定義されていない。 本稿では,全方位画像の表現モデルの学習について検討し,球面のhealpix一様サンプリングの特性を用いて,全方位画像のディープラーニングモデルで使用される数学的ツールを再定義する手法を提案する。 特に, 球面上の新しい畳み込み演算の定義を提案し, 古典的2次元畳み込みの高表現性と低複雑性を維持すること, ii) ストライド, 反復集約, ピクセルシャッフルといった標準cnn手法を球面領域に適用すること, iii) 新たな枠組みを全方位画像圧縮の課題に適用することを提案する。 実験により,本提案手法は,等角形画像に適用した類似学習モデルと比較して,13.7%のビットレートを節約できる圧縮利得が得られることを示した。 また,グラフ畳み込みネットワークに基づく学習モデルと比較して,高周波数を維持し,圧縮画像の知覚的品質を向上できるより表現力の高いフィルタをサポートする。 このような結果は、球面多様体上で効果的に実装される他の全方位視覚タスクのための新しい研究会場を開放するフレームワークの効率を実証する。

関連論文リスト

• Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
  本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。 画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。 幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
  論文  参考訳（メタデータ） (2022-10-25T01:55:17Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Interpolated SelectionConv for Spherical Images and Surfaces [0.0]
  球面画像上での畳み込みニューラルネットワーク操作のための,新しい汎用的なフレームワークを提案する。 我々のアプローチは、特定のサンプリング戦略に依存しない連結点のグラフとして表面を表す。
  論文  参考訳（メタデータ） (2022-10-18T19:49:07Z)
• Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks [13.406134708071345]
  本研究では,深層学習に基づく正規化器を用いた球面画像の塗布作業に焦点をあてる。 我々は,高速な球面ハールフレームレット変換を採用し,フレームレット変換のスパース性仮定に基づく新しい最適化フレームワークを開発した。 提案アルゴリズムは、損傷した球面画像を大幅に復元し、深層学習デノイザとプラグ・アンド・プレイモデルを用いて、純粋に最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-29T07:51:27Z)
• SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations [85.38562724999898]
  我々はSimIPUと呼ばれる2Dイメージと3Dポイントクラウドの教師なし事前学習戦略を提案する。 具体的には、モーダル内空間認識モジュールとモーダル間特徴相互作用モジュールからなるマルチモーダルコントラスト学習フレームワークを開発する。 我々の知る限りでは、屋外マルチモーダルデータセットに対する対照的な学習事前学習戦略を探求する最初の研究である。
  論文  参考訳（メタデータ） (2021-12-09T03:27:00Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
  同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。 当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。 回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-18T19:05:04Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。