論文の概要: SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2308.09040v1
• Date: Thu, 17 Aug 2023 15:20:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 16:14:01.479543
• Title: SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning
• Title（参考訳）: SimFIR: 自己教師型表現学習による魚眼画像再現のための簡易フレームワーク
• Authors: Hao Feng, Wendi Wang, Jiajun Deng, Wengang Zhou, Li Li, Houqiang Li
• Abstract要約: 自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。 まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
• 参考スコア（独自算出の注目度）: 105.01294305972037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In fisheye images, rich distinct distortion patterns are regularly distributed in the image plane. These distortion patterns are independent of the visual content and provide informative cues for rectification. To make the best of such rectification cues, we introduce SimFIR, a simple framework for fisheye image rectification based on self-supervised representation learning. Technically, we first split a fisheye image into multiple patches and extract their representations with a Vision Transformer (ViT). To learn fine-grained distortion representations, we then associate different image patches with their specific distortion patterns based on the fisheye model, and further subtly design an innovative unified distortion-aware pretext task for their learning. The transfer performance on the downstream rectification task is remarkably boosted, which verifies the effectiveness of the learned representations. Extensive experiments are conducted, and the quantitative and qualitative results demonstrate the superiority of our method over the state-of-the-art algorithms as well as its strong generalization ability on real-world fisheye images.
• Abstract（参考訳）: 魚眼画像では、豊富な異なる歪みパターンが画像面に定期的に分布する。 これらの歪みパターンは、視覚内容とは独立しており、修正のための情報手段を提供する。 このような補正手法を最大限に活用するために,自己教師付き表現学習に基づく魚眼画像修正のための簡易フレームワークSimFIRを導入する。 技術的には、魚眼画像を複数のパッチに分割し、視覚変換器(ViT)でその表現を抽出する。 細粒度の歪み表現を学習するために,魚眼モデルに基づいて異なる画像パッチと特定の歪みパターンを関連付け,さらにその学習のための革新的統一歪み認識プリテキストタスクを微妙に設計する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。 大規模実験を行い, 実世界の魚眼画像に強い一般化能力とともに, 現状のアルゴリズムよりも本手法が優れていることを示す定量的, 定性的な結果を得た。

関連論文リスト

• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• A Stronger Stitching Algorithm for Fisheye Images based on Deblurring and Registration [3.6417475195085602]
  我々は,従来の画像処理手法と深層学習を組み合わせることで,魚眼画像のより強力な縫合アルゴリズムを考案した。 魚眼画像補正の段階において,キャリブレーション法により修正した魚眼画像の青信号に対する注意に基づく活動自由ネットワーク (ANAFNet) を提案する。 画像登録では,総合的な画像マッチングアルゴリズムであるORB-FREAK-GMS(OFG)を提案する。
  論文  参考訳（メタデータ） (2023-07-22T06:54:16Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation [17.19847723103836]
  そこで本研究では,実地真実像を必要とせずに縫合モデルを訓練するための弱教師付き学習機構を開発した。 特に, 色調補正, ワープ, ブレンディングからなり, 知覚とSSIMの損失によって訓練される。 提案アルゴリズムの有効性を実世界の2つの縫合データセットで検証した。
  論文  参考訳（メタデータ） (2022-09-13T13:01:47Z)
• Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
  本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。 高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
  論文  参考訳（メタデータ） (2021-01-16T23:44:09Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。