論文の概要: Real-World Computational Aberration Correction via Quantized Domain-Mixing Representation
- arxiv url: http://arxiv.org/abs/2403.10012v1
- Date: Fri, 15 Mar 2024 04:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:38:56.682430
- Title: Real-World Computational Aberration Correction via Quantized Domain-Mixing Representation
- Title(参考訳): 量子化ドメインミキシング表現による実世界の計算収差補正
- Authors: Qi Jiang, Zhonghua Yi, Shaohua Gao, Yao Gao, Xiaolong Qian, Hao Shi, Lei Sun, Zhijie Xu, Kailun Yang, Kaiwei Wang,
- Abstract要約: 既存の学習に基づく計算収差補正(CAC)手法は、複雑で多面的な合成ドメイン間ギャップに直面している。
我々は、教師なしドメイン適応(UDA)の観点から、現実世界のCACに関する新しい洞察を提供する。
この問題に対する強力な解決策として,新しいQuntized Domain-Mixing Representation (QDMR) フレームワークを提案する。
- 参考スコア(独自算出の注目度): 17.46832030018628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relying on paired synthetic data, existing learning-based Computational Aberration Correction (CAC) methods are confronted with the intricate and multifaceted synthetic-to-real domain gap, which leads to suboptimal performance in real-world applications. In this paper, in contrast to improving the simulation pipeline, we deliver a novel insight into real-world CAC from the perspective of Unsupervised Domain Adaptation (UDA). By incorporating readily accessible unpaired real-world data into training, we formalize the Domain Adaptive CAC (DACAC) task, and then introduce a comprehensive Real-world aberrated images (Realab) dataset to benchmark it. The setup task presents a formidable challenge due to the intricacy of understanding the target aberration domain. To this intent, we propose a novel Quntized Domain-Mixing Representation (QDMR) framework as a potent solution to the issue. QDMR adapts the CAC model to the target domain from three key aspects: (1) reconstructing aberrated images of both domains by a VQGAN to learn a Domain-Mixing Codebook (DMC) which characterizes the degradation-aware priors; (2) modulating the deep features in CAC model with DMC to transfer the target domain knowledge; and (3) leveraging the trained VQGAN to generate pseudo target aberrated images from the source ones for convincing target domain supervision. Extensive experiments on both synthetic and real-world benchmarks reveal that the models with QDMR consistently surpass the competitive methods in mitigating the synthetic-to-real gap, which produces visually pleasant real-world CAC results with fewer artifacts. Codes and datasets will be made publicly available.
- Abstract(参考訳): ペア合成データに基づいて、既存の学習ベースのComputational Aberration Correction (CAC) 法は、複雑で多面的な合成ドメイン間ギャップに直面し、現実世界のアプリケーションでは準最適性能をもたらす。
本稿では,シミュレーションパイプラインの改善とは対照的に,Unsupervised Domain Adaptation(UDA)の観点から,実世界のCACに関する新たな知見を提供する。
アクセシブルな実世界のデータをトレーニングに組み込むことで、ドメイン適応型CAC(DACAC)タスクを形式化し、それをベンチマークするための総合現実世界の収差画像(Realab)データセットを導入します。
設定タスクは、目標収差領域を理解するのが難しいため、非常に難しい課題となる。
そこで本研究では,QDMR(Quntized Domain-Mixing Representation)フレームワークを提案する。
QDMRは、CACモデルをターゲットドメインに適応させ、(1)VQGANによって両方のドメインの収差画像の再構成を行い、劣化認識を特徴付けるDomain-Mixing Codebook(DMC)を学習し、(2)CACモデルの深い特徴をDMCで調整してターゲットドメインの知識を伝達し、(3)訓練されたVQGANを利用してソースドメインから偽の目標収差画像を生成し、ターゲットドメインの監視を説得する。
総合的および実世界のベンチマークの広範な実験により、QDMRのモデルは合成と現実のギャップを緩和する競争手法を一貫して上回り、視覚的に快適な実世界のCACの結果は少ないアーティファクトで得られていることが明らかとなった。
コードとデータセットは公開されます。
関連論文リスト
- Bridging the Synthetic-to-Authentic Gap: Distortion-Guided Unsupervised Domain Adaptation for Blind Image Quality Assessment [46.64517740627379]
合成データのトレーニングは有用であることが期待されているが、合成訓練されたモデルはドメインギャップのため、実際のドメインでの一般化に苦しむことが多い。
本研究では,合成データセットにより多くの歪み型を導入することは,画像品質評価の一般化に悪影響を及ぼさないか,あるいは有害である可能性があることを重要視する。
本稿では、歪みからの事前知識を介して適応的な多領域選択を利用する新しいフレームワークであるBIQA(DGQA)の歪み誘導型非教師付きドメイン適応を提案する。
論文 参考訳(メタデータ) (2024-05-07T10:07:33Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳(メタデータ) (2022-12-14T15:54:15Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous
Learning [18.601226898819476]
本稿では,新しい自動エンコーダベースのドメイン適応モデルと同時学習方式を組み合わせた半教師付きドメイン適応フレームワークを提案する。
我々のフレームワークは、ソースとターゲットのオートエンコーダの両方をトレーニングすることで、強力な分散マッチング特性を有する。
論文 参考訳(メタデータ) (2022-10-18T00:10:11Z) - Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic
Image Classification [61.656149405657246]
ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。
本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。
Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
論文 参考訳(メタデータ) (2022-09-27T14:19:00Z) - Style-Hallucinated Dual Consistency Learning for Domain Generalized
Semantic Segmentation [117.3856882511919]
本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。
SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-04-06T02:49:06Z) - Domain Adaptation for Real-World Single View 3D Reconstruction [1.611271868398988]
教師なしのドメイン適応は、ラベル付き合成ソースドメインからラベルなしの実際のターゲットドメインに知識を転送するために使用することができる。
本稿では,3次元モデルでは対象のドメインデータが教師されないが,クラスラベルでは教師されないという事実を生かして,新しいアーキテクチャを提案する。
その結果はShapeNetをソースドメインとして、Object Domain Suite(ODDS)データセット内のドメインをターゲットとして実行されます。
論文 参考訳(メタデータ) (2021-08-24T22:02:27Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z) - Domain Adaptation with Incomplete Target Domains [61.68950959231601]
本稿では、この新たなドメイン適応問題に対処するために、不完全データインプットに基づく Adversarial Network (IDIAN) モデルを提案する。
提案モデルでは,対象領域における部分的な観測に基づいて,欠落した特徴値を満たすデータ計算モジュールを設計する。
我々は、クロスドメインベンチマークタスクと、不完全なターゲットドメインを用いた実世界適応タスクの両方で実験を行う。
論文 参考訳(メタデータ) (2020-12-03T00:07:40Z) - Unsupervised Domain Adaptation with Multiple Domain Discriminators and
Adaptive Self-Training [22.366638308792734]
Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルの一般化能力を改善し、ラベル付きデータが使用できないターゲットドメインでうまく機能することを目的としている。
本稿では、合成データに基づいて訓練されたディープニューラルネットワークを、2つの異なるデータ分布間のドメインシフトに対処する実シーンに適用するアプローチを提案する。
論文 参考訳(メタデータ) (2020-04-27T11:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。