論文の概要: Treatment Learning Transformer for Noisy Image Classification
- arxiv url: http://arxiv.org/abs/2203.15529v1
- Date: Tue, 29 Mar 2022 13:07:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 15:01:36.610230
- Title: Treatment Learning Transformer for Noisy Image Classification
- Title(参考訳): 雑音画像分類のための処理学習トランス
- Authors: Chao-Han Huck Yang, I-Te Danny Hung, Yi-Chieh Liu, Pin-Yu Chen
- Abstract要約: 本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定する,トランスフォーマに基づく処理学習変換(TLT)を提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
- 参考スコア(独自算出の注目度): 68.47481726675862
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current top-notch deep learning (DL) based vision models are primarily based
on exploring and exploiting the inherent correlations between training data
samples and their associated labels. However, a known practical challenge is
their degraded performance against "noisy" data, induced by different
circumstances such as spurious correlations, irrelevant contexts, domain shift,
and adversarial attacks. In this work, we incorporate this binary information
of "existence of noise" as treatment into image classification tasks to improve
prediction accuracy by jointly estimating their treatment effects. Motivated
from causal variational inference, we propose a transformer-based architecture,
Treatment Learning Transformer (TLT), that uses a latent generative model to
estimate robust feature representations from current observational input for
noise image classification. Depending on the estimated noise level (modeled as
a binary treatment factor), TLT assigns the corresponding inference network
trained by the designed causal loss for prediction. We also create new noisy
image datasets incorporating a wide range of noise factors (e.g., object
masking, style transfer, and adversarial perturbation) for performance
benchmarking. The superior performance of TLT in noisy image classification is
further validated by several refutation evaluation metrics. As a by-product,
TLT also improves visual salience methods for perceiving noisy images.
- Abstract(参考訳): 現在のトップノートディープラーニング(DL)ベースのビジョンモデルは主に、トレーニングデータサンプルと関連するラベル間の固有の相関を探索し、活用することに基づいている。
しかしながら、既知の実用的な課題は、スプリアス相関、無関係なコンテキスト、ドメインシフト、逆境攻撃などの異なる状況によって引き起こされる「ノイズ」データに対する低下したパフォーマンスである。
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで,その処理効果を共同で推定することで予測精度を向上させる。
因果的変動推論から動機付け,雑音画像分類のための現在の観測入力から頑健な特徴表現を推定する潜在生成モデルを用いて,変換器に基づく処理学習変換器(TLT)を提案する。
TLTは、推定ノイズレベル(バイナリ処理係数としてモデル化)に応じて、設計した因果損失によってトレーニングされた対応する推論ネットワークを割り当て、予測を行う。
また、パフォーマンスベンチマークのための幅広いノイズ要因(オブジェクトマスキング、スタイル転送、逆方向摂動など)を取り入れた、ノイズの多い画像データセットも作成する。
雑音画像分類におけるTLTの優れた性能は、いくつかの難燃評価指標によりさらに検証される。
副産物として、TLTはノイズ画像を認識する視覚的サリエンス法も改善した。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Investigating the Robustness of Vision Transformers against Label Noise
in Medical Image Classification [8.578500152567164]
医用画像分類データセットにおけるラベルノイズは、教師付き深層学習法の訓練を邪魔する。
プレトレーニングは、教師あり訓練におけるラベルノイズに対するViTの堅牢性向上に不可欠であることを示す。
論文 参考訳(メタデータ) (2024-02-26T16:53:23Z) - Transformer-based Clipped Contrastive Quantization Learning for
Unsupervised Image Retrieval [15.982022297570108]
教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。
本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。
提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
論文 参考訳(メタデータ) (2024-01-27T09:39:11Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳(メタデータ) (2023-06-12T18:12:19Z) - Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。
得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。
特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
論文 参考訳(メタデータ) (2023-03-24T14:14:25Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳(メタデータ) (2022-12-14T08:19:30Z) - Embedding contrastive unsupervised features to cluster in- and
out-of-distribution noise in corrupted image datasets [18.19216557948184]
Web画像検索に検索エンジンを使用することは、イメージデータセットを作成する際の手作業によるキュレーションに代わる誘惑的な手段である。
主な欠点は、回収された間違った(ノイズの多い)サンプルの割合である。
本稿では,教師なしのコントラスト特徴学習を用いた検出ステップから始める2段階のアルゴリズムを提案する。
比較学習のアライメントと均一性原理により,OODサンプルは単位超球面上のIDサンプルから線形に分離できることがわかった。
論文 参考訳(メタデータ) (2022-07-04T16:51:56Z) - Deep Learning-Based Defect Classification and Detection in SEM Images [1.9206693386750882]
特に、異なるResNet、VGGNetアーキテクチャをバックボーンとして使用するRetinaNetモデルをトレーニングする。
そこで本研究では,異なるモデルからの出力予測を組み合わせることで,欠陥の分類と検出に優れた性能を実現するための選好に基づくアンサンブル戦略を提案する。
論文 参考訳(メタデータ) (2022-06-20T16:34:11Z) - Evaluating and Mitigating Bias in Image Classifiers: A Causal
Perspective Using Counterfactuals [27.539001365348906]
本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。
本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
論文 参考訳(メタデータ) (2020-09-17T13:19:31Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。