論文の概要: RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning

• arxiv url: http://arxiv.org/abs/2301.01661v1
• Date: Wed, 4 Jan 2023 15:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:39:33.270723
• Title: RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning
• Title（参考訳）: RecRecNet:薄膜スプラインモデルとDoFに基づくカリキュラム学習による修正広角画像の整形化
• Authors: Kang Liao, Lang Nie, Chunyu Lin, Zishuo Zheng, Yao Zhao
• Abstract要約: 我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
• 参考スコア（独自算出の注目度）: 40.58193195996798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The wide-angle lens shows appealing applications in VR technologies, but it introduces severe radial distortion into its captured image. To recover the realistic scene, previous works devote to rectifying the content of the wide-angle image. However, such a rectification solution inevitably distorts the image boundary, which potentially changes related geometric distributions and misleads the current vision perception models. In this work, we explore constructing a win-win representation on both content and boundary by contributing a new learning model, i.e., Rectangling Rectification Network (RecRecNet). In particular, we propose a thin-plate spline (TPS) module to formulate the non-linear and non-rigid transformation for rectangling images. By learning the control points on the rectified image, our model can flexibly warp the source structure to the target domain and achieves an end-to-end unsupervised deformation. To relieve the complexity of structure approximation, we then inspire our RecRecNet to learn the gradual deformation rules with a DoF (Degree of Freedom)-based curriculum learning. By increasing the DoF in each curriculum stage, namely, from similarity transformation (4-DoF) to homography transformation (8-DoF), the network is capable of investigating more detailed deformations, offering fast convergence on the final rectangling task. Experiments show the superiority of our solution over the compared methods on both quantitative and qualitative evaluations. The code and dataset will be made available.
• Abstract（参考訳）: 広角レンズはVR技術の魅力的な応用例だが、撮像された画像に厳しい半径歪みをもたらす。 現実的なシーンを回復するため、以前の作品では広角画像の内容の修正に取り組んでいた。 しかし、そのような整流解は必然的に画像境界を歪め、関連する幾何学的分布を変化させ、現在の視覚知覚モデルを誤解させる。 本研究では,新たな学習モデルであるrecrecnet(retangling rectification network)のコンテントとバウンダリの両方におけるwin-win表現の構築について検討する。 特に,直交画像に対する非線形および非剛性変換を定式化する薄板スプライン (TPS) モジュールを提案する。 補正画像の制御ポイントを学習することにより, 対象領域に柔軟にソース構造を付与し, エンドツーエンドの教師なし変形を実現する。 構造近似の複雑さを軽減するため、我々はRecRecNetにインスピレーションを与え、DoF(Degree of Freedom)ベースのカリキュラム学習で段階的な変形規則を学ぶ。 各カリキュラムステージにおけるdof、すなわち類似度変換(4-dof)からホモグラフィ変換(8-dof)を増加させることにより、ネットワークはより詳細な変形を調査でき、最終整流タスクの高速収束を提供する。 実験では, 定量的評価と質的評価の両方において, 比較法よりも溶液の優越性を示す。 コードとデータセットが利用可能になる。

関連論文リスト

• RecDiffusion: Rectangling for Image Stitching with Diffusion Models [53.824503710254206]
  画像縫合整形のための新しい拡散学習フレームワーク textbfRecDiffusion を提案する。 このフレームワークは運動拡散モデル(MDM)を組み合わせて運動場を生成し、縫合された画像の不規則な境界から幾何学的に修正された中間体へ効果的に遷移する。
  論文  参考訳（メタデータ） (2024-03-28T06:22:45Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
  本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。 画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。 幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
  論文  参考訳（メタデータ） (2022-10-25T01:55:17Z)
• Deep Rectangling for Image Stitching: A Learning Baseline [57.76737888499145]
  我々は不規則な境界やシーンに大きな多様性を持つ最初の画像縫合整形データセットを構築した。 実験では、従来の方法よりも定量的にも質的にも優位性を示す。
  論文  参考訳（メタデータ） (2022-03-08T03:34:10Z)
• A training-free recursive multiresolution framework for diffeomorphic deformable image registration [6.929709872589039]
  変形可能な画像登録のための新しい微分型学習自由アプローチを提案する。 提案するアーキテクチャは設計上は単純で,各解像度で移動像を順次ワープし,最終的に固定像に整列する。 システム全体はエンドツーエンドで、スクラッチから各2つのイメージに最適化されている。
  論文  参考訳（メタデータ） (2022-02-01T15:17:17Z)
• Stochastic Planner-Actor-Critic for Unsupervised Deformable Image Registration [33.72954116727303]
  本稿では,大きく変形する医療画像の段階的登録を行う,新しい強化学習ベースのフレームワークを提案する。 本手法は2次元および3次元の医用画像データセットを用いて評価し,その一部は大きな変形を含む。
  論文  参考訳（メタデータ） (2021-12-14T14:08:56Z)
• Image Deformation Estimation via Multi-Objective Optimization [13.159751065619544]
  自由形変形モデルは、画像上の制御点格子を操作することにより、幅広い非剛体変形を表現することができる。 フィットネスランドスケープの複雑さのため,変形画像にモデルを直接適合させることは困難である。
  論文  参考訳（メタデータ） (2021-06-08T06:52:12Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。