論文の概要: Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond
- arxiv url: http://arxiv.org/abs/2401.13432v2
- Date: Tue, 18 Jun 2024 10:29:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 04:34:53.964696
- Title: Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond
- Title(参考訳): 回転補正用半監督結合型薄板スプラインモデル
- Authors: Lang Nie, Chunyu Lin, Kang Liao, Shuaicheng Liu, Yao Zhao,
- Abstract要約: 制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
- 参考スコア(独自算出の注目度): 84.56978780892783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thin-plate spline (TPS) is a principal warp that allows for representing elastic, nonlinear transformation with control point motions. With the increase of control points, the warp becomes increasingly flexible but usually encounters a bottleneck caused by undesired issues, e.g., content distortion. In this paper, we explore generic applications of TPS in single-image-based warping tasks, such as rotation correction, rectangling, and portrait correction. To break this bottleneck, we propose the coupled thin-plate spline model (CoupledTPS), which iteratively couples multiple TPS with limited control points into a more flexible and powerful transformation. Concretely, we first design an iterative search to predict new control points according to the current latent condition. Then, we present the warping flow as a bridge for the coupling of different TPS transformations, effectively eliminating interpolation errors caused by multiple warps. Besides, in light of the laborious annotation cost, we develop a semi-supervised learning scheme to improve warping quality by exploiting unlabeled data. It is formulated through dual transformation between the searched control points of unlabeled data and its graphic augmentation, yielding an implicit correction consistency constraint. Finally, we collect massive unlabeled data to exhibit the benefit of our semi-supervised scheme in rotation correction. Extensive experiments demonstrate the superiority and universality of CoupledTPS over the existing state-of-the-art (SoTA) solutions for rotation correction and beyond. The code and data are available at https://github.com/nie-lang/CoupledTPS.
- Abstract(参考訳): 薄板スプライン(TPS)は、制御点運動による弾性・非線形変換を表現できる主ワープである。
制御ポイントの増加に伴い、ワープはますます柔軟になるが、通常、望ましくない問題、例えばコンテンツ歪みによって引き起こされるボトルネックに遭遇する。
本稿では, 回転補正, 整形, ポートレート補正などの単一画像に基づくワープ作業におけるTPSの汎用的応用について検討する。
このボトルネックを解消するために,複数のTPSを限定的な制御ポイントで繰り返し結合し,より柔軟かつ強力な変換を行う結合型薄板スプラインモデル(CoupledTPS)を提案する。
具体的には、まず、現在の潜伏状態に応じて新しい制御点を予測するための反復探索を設計する。
次に,異なるTPS変換の結合のためのブリッジとしてワープ流を提示し,複数のワープによる補間誤差を効果的に除去する。
また,厳密なアノテーションコストを考慮した半教師付き学習手法を開発し,ラベルなしデータの活用によるワープ品質の向上を図る。
ラベル付きデータの検索制御点とグラフィック拡張の間の二重変換によって定式化され、暗黙の補正一貫性が制約される。
最後に、回転補正における半教師付きスキームの利点を示すために、大量のラベルのないデータを収集する。
大規模な実験により、CoupledTPSの回転補正以降の既存のSoTAソリューションよりも優位性と普遍性を示す。
コードとデータはhttps://github.com/nie-lang/CoupledTPSで公開されている。
関連論文リスト
- Projected Entangled Pair States with flexible geometry [0.0]
射影絡み合ったペア状態(英: Projected Entangled Pair States、PEPS)は、一次元系の行列積状態を高次元に一般化する量子多体状態のクラスである。
PEPSは、特に量子スピン液体のような2次元の強い相関系の高度な理解を持っている。
任意の,ゆらぎ,および密接な連結グラフ上で定義される低エネルギー状態と力学をシミュレートするPEPSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-07-30T19:03:52Z) - Entropy Transformer Networks: A Learning Approach via Tangent Bundle
Data Manifold [8.893886200299228]
本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速なアプローチについて述べる。
データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。
挑戦的なベンチマークの実験は、提案されたESTNがコンピュータビジョンタスクの範囲で予測精度を向上させることを示している。
論文 参考訳(メタデータ) (2023-07-24T04:21:51Z) - TPS++: Attention-Enhanced Thin-Plate Spline for Scene Text Recognition [78.67283660198403]
テキストの不規則性は、シーンテキスト認識者に重大な課題をもたらす。
TPS++は、テキストの修正にアテンションメカニズムを組み込んだ、アテンション強化TPS変換である。
常に認識を改善し、最先端の精度を達成する。
論文 参考訳(メタデータ) (2023-05-09T10:16:43Z) - M22: A Communication-Efficient Algorithm for Federated Learning Inspired
by Rate-Distortion [19.862336286338564]
連合学習では、通信制約による精度の損失を最小限に抑えるために、モデル更新を圧縮する必要がある。
本稿では、勾配圧縮に対する速度歪みに着想を得たEmph$bf M$-magnitudeed $L_bf 2$ distortion + $bf 2$ degrees of freedom' (M22)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-23T04:40:01Z) - RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline
Model and DoF-based Curriculum Learning [62.86400614141706]
我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。
我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。
実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
論文 参考訳(メタデータ) (2023-01-04T15:12:57Z) - Graph Reasoning Transformer for Image Parsing [67.76633142645284]
本稿では,画像解析のためのグラフ推論変換器(GReaT)を提案する。
従来の変圧器と比較して、GReaTは高い相互作用効率とより目的のある相互作用パターンを有する。
その結果、GReaTは、最先端のトランスフォーマーベースラインにわずかに計算オーバーヘッドを伴って、一貫した性能向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-09-20T08:21:37Z) - Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation [50.62685357414904]
ビデオパノプティカル係数(VPS)は、コヒーレントなパノプティカルセグメンテーションを生成し、ビデオフレーム全体の全ピクセルのアイデンティティを追跡することを目的としている。
単一トラッカーの限界を取り除くために,軽量かつ共同的な追跡モデルであるHybridTrackerを提案する。
総合的な実験により、HybridTrackerはCityscapes-VPSとVIPERデータセットの最先端メソッドよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-03-02T16:21:55Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳(メタデータ) (2021-09-15T01:10:30Z) - Semi-Supervised Wide-Angle Portraits Correction by Multi-Scale
Transformer [17.455782652441187]
広角画像補正のための半教師付きネットワークを提案する。
我々のネットワークはMulti-Scale Swin-Unet(MS-Unet)と呼ばれ、MSTB(Multi-scale Swin-Unet)上に構築されている。
論文 参考訳(メタデータ) (2021-09-14T09:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。