論文の概要: Computational Imaging for Machine Perception: Transferring Semantic Segmentation beyond Aberrations

• arxiv url: http://arxiv.org/abs/2211.11257v2
• Date: Thu, 14 Mar 2024 04:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 03:23:03.668215
• Title: Computational Imaging for Machine Perception: Transferring Semantic Segmentation beyond Aberrations
• Title（参考訳）: 機械知覚のための計算画像:収差を超えてセマンティックセグメンテーションを転送する
• Authors: Qi Jiang, Hao Shi, Shaohua Gao, Jiaming Zhang, Kailun Yang, Lei Sun, Huajian Ni, Kaiwei Wang,
• Abstract要約: 我々はミニマリスト光学系(MOS)を用いたSSOAによるセマンティックの研究の先駆者である。 我々は,仮想プロトタイプレンズ群(VPL)を光学シミュレーションにより構築し,異なる振る舞いと収差レベルの下でCityscapes-abおよびKITTI-360-abデータセットを生成する。 本稿では,コンピュータイメージングの先行知識を活用するために,CIADA(Computational Imaging Assisted Domain Adaptation)を提案する。
• 参考スコア（独自算出の注目度）: 19.795613034423774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic scene understanding with Minimalist Optical Systems (MOS) in mobile and wearable applications remains a challenge due to the corrupted imaging quality induced by optical aberrations. However, previous works only focus on improving the subjective imaging quality through the Computational Imaging (CI) technique, ignoring the feasibility of advancing semantic segmentation. In this paper, we pioneer the investigation of Semantic Segmentation under Optical Aberrations (SSOA) with MOS. To benchmark SSOA, we construct Virtual Prototype Lens (VPL) groups through optical simulation, generating Cityscapes-ab and KITTI-360-ab datasets under different behaviors and levels of aberrations. We look into SSOA via an unsupervised domain adaptation perspective to address the scarcity of labeled aberration data in real-world scenarios. Further, we propose Computational Imaging Assisted Domain Adaptation (CIADA) to leverage prior knowledge of CI for robust performance in SSOA. Based on our benchmark, we conduct experiments on the robustness of classical segmenters against aberrations. In addition, extensive evaluations of possible solutions to SSOA reveal that CIADA achieves superior performance under all aberration distributions, bridging the gap between computational imaging and downstream applications for MOS. The project page is at https://github.com/zju-jiangqi/CIADA.
• Abstract（参考訳）: モバイルおよびウェアラブルアプリケーションにおけるMinimalist Optical Systems (MOS)によるセマンティックなシーン理解は、光学収差による画像品質の劣化のため、依然として課題である。 しかし、従来の研究は、コンピュータ・イメージング(CI)技術による主観的画像品質の向上にのみ焦点を当てており、セマンティックセグメンテーションの進歩の可能性を無視している。 本稿では,光収差下でのセマンティックセグメンテーション(SSOA)のMOSによる研究の先駆者となる。 SSOAをベンチマークするために、光学シミュレーションにより仮想プロトタイプレンズ群を構築し、異なる振る舞いと収差レベルの下でCityscapes-abおよびKITTI-360-abデータセットを生成する。 我々は、実世界のシナリオにおけるラベル付き収差データの不足に対処するために、教師なしのドメイン適応の観点からSSOAを考察する。 さらに、SSOAにおける堅牢なパフォーマンスのために、CIの事前知識を活用するために、CIADA(Computational Imaging Assisted Domain Adaptation)を提案する。 ベンチマークに基づいて,古典的セグメンタの収差に対する堅牢性について実験を行った。 さらに、SSOAの可能なソリューションを広範囲に評価した結果、CIADAは全ての収差分布において優れた性能を達成し、計算画像とMOSの下流アプリケーションとのギャップを埋めることが判明した。 プロジェクトページはhttps://github.com/zju-jiangqi/CIADAにある。

関連論文リスト

• Grounding Stylistic Domain Generalization with Quantitative Domain Shift Measures and Synthetic Scene Images [63.58800688320182]
  ドメインの一般化は機械学習において難しい課題である。 現在の方法論は、スタイリスティック領域におけるシフトに関する定量的な理解を欠いている。 これらのリスクに対処する新しいDGパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-05-24T22:13:31Z)
• Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery [4.499833362998487]
  本研究では,衛星画像のセマンティックセグメンテーションにおけるカット・アンド・ペースト拡張手法の有効性について検討した。 私たちは、通常ラベル付きインスタンスを必要とするこの拡張を、セマンティックセグメンテーションのケースに適用します。 評価のためにDynamicEarthNetデータセットとU-Netモデルを用いて、この拡張により、テストセットのmIoUスコアが37.9から44.1に大幅に向上することを発見した。
  論文  参考訳（メタデータ） (2024-04-08T17:18:30Z)
• Fiducial Focus Augmentation for Facial Landmark Detection [4.433764381081446]
  本稿では,モデルによる顔構造理解を高めるために,新しい画像強調手法を提案する。 我々は,Deep Canonical correlation Analysis (DCCA) に基づく損失を考慮した,シームズアーキテクチャに基づくトレーニング機構を採用している。 提案手法は,様々なベンチマークデータセットにおいて,最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-02-23T01:34:00Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Improving Vision Anomaly Detection with the Guidance of Language Modality [64.53005837237754]
  本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。 本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。 視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
  論文  参考訳（メタデータ） (2023-10-04T13:44:56Z)
• Investigating Shift Equivalence of Convolutional Neural Networks in Industrial Defect Segmentation [3.843350895842836]
  産業欠陥分割タスクでは、モデルの出力整合性(等価性とも呼ばれる)がしばしば見過ごされる。 CNNにおける従来のサンプリングレイヤの代替として,コンポーネントアテンション多相サンプリング(CAPS)と呼ばれる新しいダウン/アップサンプリング層が提案されている。 マイクロサーフェス欠陥(MSD)データセットと4つの実世界の産業的欠陥データセットの実験結果から,提案手法は高い等価性とセグメンテーション性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-09-29T00:04:47Z)
• Diversity is Definitely Needed: Improving Model-Agnostic Zero-shot Classification via Stable Diffusion [22.237426507711362]
  モデル非依存ゼロショット分類(モデル非依存ゼロショット分類、英: Model-Agnostic Zero-Shot Classification、MA-ZSC)とは、訓練中に実際の画像を使わずに、実際の画像を分類するための非特異な分類アーキテクチャを訓練することである。 近年の研究では、拡散モデルを用いて合成訓練画像を生成することが、MA-ZSCに対処するための潜在的な解決策となることが示されている。 本研究では,事前学習した拡散モデルを用いてテキスト・画像生成プロセスの修正を行い,多様性を高める。
  論文  参考訳（メタデータ） (2023-02-07T07:13:53Z)
• Adapting the Hypersphere Loss Function from Anomaly Detection to Anomaly Segmentation [1.9458156037869137]
  完全畳み込みデータ記述(FCDD)の漸進的改善を提案する。 FCDDは、異常検出から画像異常セグメンテーション(すなわち異常局在)への一級分類アプローチの適応である 我々は、元の損失関数を解析し、前任のハイパースフィア(HSC)によく似た代替関数を提案する。
  論文  参考訳（メタデータ） (2023-01-23T18:06:35Z)
• Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
  本研究では,セマンティックデータ拡張法 (SDA) を提案する。 また,適応的セマンティックデータ拡張 (ASDA) を提案する。 最先端の結果は、挑戦的なベンチマークで得られます。
  論文  参考訳（メタデータ） (2020-08-03T07:56:04Z)
• Unsupervised Instance Segmentation in Microscopy Images via Panoptic Domain Adaptation and Task Re-weighting [86.33696045574692]
  病理組織像における教師なし核分割のためのCycle Consistency Panoptic Domain Adaptive Mask R-CNN(CyC-PDAM)アーキテクチャを提案する。 まず,合成画像中の補助的な生成物を除去するための核塗布機構を提案する。 第二に、ドメイン識別器を持つセマンティックブランチは、パンプトレベルのドメイン適応を実現するように設計されている。
  論文  参考訳（メタデータ） (2020-05-05T11:08:26Z)
• Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation [93.83369981759996]
  本稿では,自己監督同変注意機構(SEAM)を提案する。 本手法は,完全教師付きセマンティックセグメンテーションにおいて,同値が暗黙の制約であることを示す。 本稿では,ネットワーク学習のための自己スーパービジョンを提供するために,様々な変換画像から予測されたCAMの整合性正則化を提案する。
  論文  参考訳（メタデータ） (2020-04-09T14:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。