論文の概要: SIDAR: Synthetic Image Dataset for Alignment & Restoration
- arxiv url: http://arxiv.org/abs/2305.12036v1
- Date: Fri, 19 May 2023 23:32:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 01:17:35.269216
- Title: SIDAR: Synthetic Image Dataset for Alignment & Restoration
- Title(参考訳): SIDAR:アライメントとリカバリのための合成画像データセット
- Authors: Monika Kwiatkowski, Simon Matern, Olaf Hellwich
- Abstract要約: エンドツーエンドのディープラーニングモデルのトレーニングと評価に十分なデータを提供するデータセットが不足している。
提案したデータ拡張は,3次元レンダリングを用いてデータの不足を克服するのに役立つ。
得られたデータセットは、画像アライメントとアーティファクト削除を含むさまざまなタスクのトレーニングと評価セットとして機能する。
- 参考スコア(独自算出の注目度): 2.9649783577150837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image alignment and image restoration are classical computer vision tasks.
However, there is still a lack of datasets that provide enough data to train
and evaluate end-to-end deep learning models. Obtaining ground-truth data for
image alignment requires sophisticated structure-from-motion methods or optical
flow systems that often do not provide enough data variance, i.e., typically
providing a high number of image correspondences, while only introducing few
changes of scenery within the underlying image sequences. Alternative
approaches utilize random perspective distortions on existing image data.
However, this only provides trivial distortions, lacking the complexity and
variance of real-world scenarios. Instead, our proposed data augmentation helps
to overcome the issue of data scarcity by using 3D rendering: images are added
as textures onto a plane, then varying lighting conditions, shadows, and
occlusions are added to the scene. The scene is rendered from multiple
viewpoints, generating perspective distortions more consistent with real-world
scenarios, with homographies closely resembling those of camera projections
rather than randomized homographies. For each scene, we provide a sequence of
distorted images with corresponding occlusion masks, homographies, and
ground-truth labels. The resulting dataset can serve as a training and
evaluation set for a multitude of tasks involving image alignment and artifact
removal, such as deep homography estimation, dense image matching, 2D bundle
adjustment, inpainting, shadow removal, denoising, content retrieval, and
background subtraction. Our data generation pipeline is customizable and can be
applied to any existing dataset, serving as a data augmentation to further
improve the feature learning of any existing method.
- Abstract(参考訳): 画像アライメントと画像復元は古典的なコンピュータビジョンタスクである。
しかし、エンドツーエンドのディープラーニングモデルのトレーニングと評価に十分なデータを提供するデータセットがまだ存在しない。
画像アライメントのための接地データを得るには、複雑な構造から移動する手法や光学フローシステムが必要であり、基礎となる画像シーケンス内ではわずかなシーンの変更しか導入せず、通常は大量の画像対応を提供するような十分なデータ分散を提供しないことが多い。
既存の画像データにランダムな視点歪みを利用する方法もある。
しかし、これは単純な歪みしか与えず、実世界のシナリオの複雑さと分散を欠いている。
画像は平面上にテクスチャとして追加され、照明条件、シャドウ、オクルージョンがシーンに追加されます。
シーンは複数の視点からレンダリングされ、実世界のシナリオとより一貫性のある視点歪みを生成し、ランダム化されたホモグラフではなく、カメラの投影と密接に類似している。
各シーンに対して,対応するオクルージョンマスク,ホモグラフィ,接地ラベルを付加した歪んだ画像列を提供する。
得られたデータセットは、ディープホモグラフィ推定、高密度画像マッチング、2dバンドル調整、インペインティング、シャドー削除、デノージング、コンテンツ検索、背景減算など、画像アライメントおよびアーティファクト除去を含む多数のタスクのトレーニングおよび評価セットとして機能することができる。
私たちのデータ生成パイプラインはカスタマイズ可能で、既存のどんなデータセットにも適用できます。
関連論文リスト
- An evaluation of Deep Learning based stereo dense matching dataset shift
from aerial images and a large scale stereo dataset [2.048226951354646]
そこで本研究では,光検出・ランドング(LiDAR)と画像から直接地中不均質マップを生成する手法を提案する。
多様なシーンタイプ、画像解像度、幾何学的構成を持つデータセット間の11の密マッチング手法を評価した。
論文 参考訳(メタデータ) (2024-02-19T20:33:46Z) - DIAR: Deep Image Alignment and Reconstruction using Swin Transformers [3.1000291317724993]
画像歪みのある画像を含むデータセットを作成する。
我々は、対応する地平線ホモグラフをラベルとして、視点歪みを生成する。
データセットを使用して、Swinトランスフォーマーモデルをトレーニングし、シーケンシャルな画像データを分析します。
論文 参考訳(メタデータ) (2023-10-17T21:59:45Z) - iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
テキスト誘導画像編集のための新しい学習法を提案する。
ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。
画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
論文 参考訳(メタデータ) (2023-05-10T07:39:14Z) - Diffusion-Based Scene Graph to Image Generation with Masked Contrastive
Pre-Training [112.94542676251133]
画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。
具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。
SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
論文 参考訳(メタデータ) (2022-11-21T01:11:19Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-01-10T03:12:52Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z) - Data Augmentation for Object Detection via Differentiable Neural
Rendering [71.00447761415388]
注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。
この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。
オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
論文 参考訳(メタデータ) (2021-03-04T06:31:06Z) - PX-NET: Simple and Efficient Pixel-Wise Training of Photometric Stereo
Networks [26.958763133729846]
光を反射する物体の正確な3D再構成は、コンピュータビジョンにおいて非常に難しい課題だ。
本稿では,グローバルにレンダリングされた画像のトレーニングデータ(観測マップ)を,画素単位の独立なデータに置き換えることで,正規予測のための新たな画素単位のトレーニング手順を提案する。
我々のネットワークであるPX-NETは、合成データセット上の他のピクセルワイズ手法と比較して最先端の性能を実現している。
論文 参考訳(メタデータ) (2020-08-11T18:03:13Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。