論文の概要: Representing Domain-Mixing Optical Degradation for Real-World Computational Aberration Correction via Vector Quantization

• arxiv url: http://arxiv.org/abs/2403.10012v2
• Date: Thu, 07 Nov 2024 13:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:35:57.224363
• Title: Representing Domain-Mixing Optical Degradation for Real-World Computational Aberration Correction via Vector Quantization
• Title（参考訳）: ベクトル量子化による実世界の計算収差補正のためのドメインミキシング光劣化の表現
• Authors: Qi Jiang, Zhonghua Yi, Shaohua Gao, Yao Gao, Xiaolong Qian, Hao Shi, Lei Sun, JinXing Niu, Kaiwei Wang, Kailun Yang, Jian Bai,
• Abstract要約: 既存の学習に基づく計算収差補正(CAC)手法は、複雑で多面的な合成ドメイン間ギャップに直面している。 我々は、教師なしドメイン適応(UDA)の観点から、現実世界のCACに関する新しい洞察を提供する。 本稿では,QDMR(Quantized Domain-Mixing Representation)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.08845012632751
• License:
• Abstract: Relying on paired synthetic data, existing learning-based Computational Aberration Correction (CAC) methods are confronted with the intricate and multifaceted synthetic-to-real domain gap, which leads to suboptimal performance in real-world applications. In this paper, in contrast to improving the simulation pipeline, we deliver a novel insight into real-world CAC from the perspective of Unsupervised Domain Adaptation (UDA). By incorporating readily accessible unpaired real-world data into training, we formalize the Domain Adaptive CAC (DACAC) task, and then introduce a comprehensive Real-world aberrated images (Realab) dataset to benchmark it. The setup task presents a formidable challenge due to the intricacy of understanding the target optical degradation domain. To this intent, we propose a novel Quantized Domain-Mixing Representation (QDMR) framework as a potent solution to the issue. Centering around representing and quantizing the optical degradation which is consistent across different images, QDMR adapts the CAC model to the target domain from three key aspects: (1) reconstructing aberrated images of both domains by a VQGAN to learn a Domain-Mixing Codebook (DMC) characterizing the optical degradation; (2) modulating the deep features in CAC model with DMC to transfer the target domain knowledge; and (3) leveraging the trained VQGAN to generate pseudo target aberrated images from the source ones for convincing target domain supervision. Extensive experiments on both synthetic and real-world benchmarks reveal that the models with QDMR consistently surpass the competitive methods in mitigating the synthetic-to-real gap, which produces visually pleasant real-world CAC results with fewer artifacts. Codes and datasets are made publicly available at https://github.com/zju-jiangqi/QDMR.
• Abstract（参考訳）: ペア合成データに基づいて、既存の学習ベースのComputational Aberration Correction (CAC) 法は、複雑で多面的な合成ドメイン間ギャップに直面し、現実世界のアプリケーションでは準最適性能をもたらす。 本稿では,シミュレーションパイプラインの改善とは対照的に,Unsupervised Domain Adaptation(UDA)の観点から,実世界のCACに関する新たな知見を提供する。 アクセシブルな実世界のデータをトレーニングに組み込むことで、ドメイン適応型CAC(DACAC)タスクを形式化し、それをベンチマークするための総合現実世界の収差画像(Realab)データセットを導入します。 設定タスクは、対象光劣化領域を理解するのが難しいため、非常に難しい課題となる。 そこで本研究では,QDMR(Quantized Domain-Mixing Representation)フレームワークを提案する。 異なる画像間で一貫性のある光学劣化の表現と定量化を中心に、QDMRは、(1)VQGANによって両方のドメインの収差画像の再構成を行い、光学劣化を特徴付けるドメイン・ミキシング・コードブック(DMC)を学習し、(2)Cモデルにおける深い特徴をDMCで調整し、(3)訓練されたVQGANを利用して、ターゲットドメインの監視を説得するソースドメインから偽の目標収差画像を生成する、という3つの重要な側面から、CACモデルをターゲットドメインに適応させる。 総合的および実世界のベンチマークの広範な実験により、QDMRのモデルは合成と現実のギャップを緩和する競争手法を一貫して上回り、視覚的に快適な実世界のCACの結果は少ないアーティファクトで得られていることが明らかとなった。 コードとデータセットはhttps://github.com/zju-jiangqi/QDMRで公開されている。

関連論文リスト

• CTS: Sim-to-Real Unsupervised Domain Adaptation on 3D Detection [16.96201890965781]
  本稿では,ラベル付きシミュレーションからラベル付き現実領域へモデルを転送するための新しいフレームワークを提案する。 実験結果から,提案手法は3次元物体検出モデルの実領域適応能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-26T07:31:16Z)
• Syn-to-Real Unsupervised Domain Adaptation for Indoor 3D Object Detection [50.448520056844885]
  室内3次元物体検出における非教師なし領域適応のための新しいフレームワークを提案する。 合成データセット3D-FRONTから実世界のデータセットScanNetV2とSUN RGB-Dへの適応結果は、ソースオンリーベースラインよりも9.7%、9.1%のmAP25が顕著に改善されていることを示している。
  論文  参考訳（メタデータ） (2024-06-17T08:18:41Z)
• Bridging the Synthetic-to-Authentic Gap: Distortion-Guided Unsupervised Domain Adaptation for Blind Image Quality Assessment [46.64517740627379]
  合成データのトレーニングは有用であることが期待されているが、合成訓練されたモデルはドメインギャップのため、実際のドメインでの一般化に苦しむことが多い。 本研究では,合成データセットにより多くの歪み型を導入することは,画像品質評価の一般化に悪影響を及ぼさないか,あるいは有害である可能性があることを重要視する。 本稿では、歪みからの事前知識を介して適応的な多領域選択を利用する新しいフレームワークであるBIQA(DGQA)の歪み誘導型非教師付きドメイン適応を提案する。
  論文  参考訳（メタデータ） (2024-05-07T10:07:33Z)
• Reconstruction-driven Dynamic Refinement based Unsupervised Domain Adaptation for Joint Optic Disc and Cup Segmentation [25.750583118977833]
  緑内障は可逆性失明の主要な原因の1つである。 OD/OCセグメンテーションモデルをトレーニングすることは依然として難しい。 本稿ではリコンストラクション駆動動的リファインメントネットワーク(RDR-Net)と呼ばれる新しい非教師なし領域適応(UDA)手法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T13:33:13Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• Source-Free Domain Adaptation for Real-world Image Dehazing [10.26945164141663]
  本稿では,SFUDA(Source-Free Unsupervised Domain Adaptation)画像デハージングパラダイムを提案する。 ドメイン表現正規化(DRN)モジュールを考案し、実際のハジードメイン特徴の表現を合成ドメインの表現と一致させる。 プラグアンドプレイのDRNモジュールを使えば、ラベルのない実画像は、既存のよく訓練されたソースネットワークに適応できる。
  論文  参考訳（メタデータ） (2022-07-14T03:37:25Z)
• Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation [117.3856882511919]
  本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。 SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-06T02:49:06Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Unsupervised Instance Segmentation in Microscopy Images via Panoptic Domain Adaptation and Task Re-weighting [86.33696045574692]
  病理組織像における教師なし核分割のためのCycle Consistency Panoptic Domain Adaptive Mask R-CNN(CyC-PDAM)アーキテクチャを提案する。 まず,合成画像中の補助的な生成物を除去するための核塗布機構を提案する。 第二に、ドメイン識別器を持つセマンティックブランチは、パンプトレベルのドメイン適応を実現するように設計されている。
  論文  参考訳（メタデータ） (2020-05-05T11:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。