論文の概要: SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses

• arxiv url: http://arxiv.org/abs/2011.14611v1
• Date: Mon, 30 Nov 2020 08:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:37:01.775426
• Title: SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses
• Title（参考訳）: SIR:複数の異なるレンズから同じシーンを見ることができる自己監督型画像整形
• Authors: Jinlong Fan and Jing Zhang and Dacheng Tao
• Abstract要約: 本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
• 参考スコア（独自算出の注目度）: 82.56853587380168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has demonstrated its power in image rectification by leveraging the representation capacity of deep neural networks via supervised training based on a large-scale synthetic dataset. However, the model may overfit the synthetic images and generalize not well on real-world fisheye images due to the limited universality of a specific distortion model and the lack of explicitly modeling the distortion and rectification process. In this paper, we propose a novel self-supervised image rectification (SIR) method based on an important insight that the rectified results of distorted images of the same scene from different lens should be the same. Specifically, we devise a new network architecture with a shared encoder and several prediction heads, each of which predicts the distortion parameter of a specific distortion model. We further leverage a differentiable warping module to generate the rectified images and re-distorted images from the distortion parameters and exploit the intra- and inter-model consistency between them during training, thereby leading to a self-supervised learning scheme without the need for ground-truth distortion parameters or normal images. Experiments on synthetic dataset and real-world fisheye images demonstrate that our method achieves comparable or even better performance than the supervised baseline method and representative state-of-the-art methods. Self-supervised learning also improves the universality of distortion models while keeping their self-consistency.
• Abstract（参考訳）: ディープラーニングは、大規模な合成データセットに基づいた教師付きトレーニングを通じて、ディープニューラルネットワークの表現能力を活用することで、画像修正におけるそのパワーを実証した。 しかし、このモデルは合成画像に過度に適合し、特定の歪みモデルの普遍性や歪みと整流過程を明示的にモデル化していないため、実世界の魚眼画像ではうまく一般化できない。 本稿では,同一場面の異なるレンズからの歪み画像の補正結果が同一であるべきという重要な知見に基づいて,新しい自己教師あり画像整流法を提案する。 具体的には、共有エンコーダと複数の予測ヘッドを併用した新しいネットワークアーキテクチャを考案し、それぞれが特定の歪みモデルの歪みパラメータを予測する。 さらに,変形パラメータから修正画像と再歪画像を生成するために微分可能なワーピングモジュールを利用し,トレーニング中にモデル内およびモデル間一貫性を活用し,接地歪パラメータや正規画像を必要としない自己教師あり学習方式を実現する。 人工データセットと実世界の魚眼画像を用いた実験により,本手法は教師ありベースライン法や代表的な最先端法と同等,あるいはさらに優れた性能が得られることを示した。 自己教師付き学習は、自己整合性を維持しながら歪みモデルの普遍性を向上する。

関連論文リスト

• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Benchmark Generation Framework with Customizable Distortions for Image Classifier Robustness [4.339574774938128]
  本稿では,画像分類モデルのロバスト性を評価するために,逆ベンチマークを生成する新しいフレームワークを提案する。 当社のフレームワークでは,画像に最適な歪みの種類をカスタマイズすることが可能で,デプロイメントに関連する歪みに対処する上で有効である。
  論文  参考訳（メタデータ） (2023-10-28T07:40:42Z)
• SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning [105.01294305972037]
  自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。 まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
  論文  参考訳（メタデータ） (2023-08-17T15:20:17Z)
• Learning Distortion Invariant Representation for Image Restoration from A Causality Perspective [42.10777921339209]
  因果性の観点から,画像復元のための新たなトレーニング戦略を提案する。 提案手法は歪不変表現学習(DIL)と呼ばれ,各歪みのタイプと度合いを1つの特定の共同創設者として扱う。
  論文  参考訳（メタデータ） (2023-03-13T05:04:18Z)
• DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
  本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。 このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
  論文  参考訳（メタデータ） (2022-09-30T11:15:03Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)
• Restoring Spatially-Heterogeneous Distortions using Mixture of Experts Network [11.048041466120589]
  空間的不均一な歪みデータセットを導入し、各画像の異なる場所に複数の汚職を適用した。 マルチタスク学習によってモチベーションを得たネットワークは,共通表現と歪み表現の両方を学習する複数の経路を持つように設計されている。 我々のモデルは実世界の歪みの復元に有効であり、本手法が単一歪みと多重歪みの両方を管理するように設計された他のモデルよりも優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2020-09-30T11:06:38Z)
• A Deep Ordinal Distortion Estimation Approach for Distortion Rectification [62.72089758481803]
  より高精度なパラメータを効率良く得る新しい歪み補正手法を提案する。 本研究では, 局所言語関連推定ネットワークを設計し, 順序歪みを学習し, 現実的な歪み分布を近似する。 歪み情報の冗長性を考慮すると,本手法では歪み画像の一部のみを用いて順序方向の歪み推定を行う。
  論文  参考訳（メタデータ） (2020-07-21T10:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。