論文の概要: Treatment Learning Causal Transformer for Noisy Image Classification
- arxiv url: http://arxiv.org/abs/2203.15529v2
- Date: Mon, 30 Oct 2023 06:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 05:11:52.426854
- Title: Treatment Learning Causal Transformer for Noisy Image Classification
- Title(参考訳): ノイズ画像分類のための処理学習因果変換器
- Authors: Chao-Han Huck Yang, I-Te Danny Hung, Yi-Chieh Liu, Pin-Yu Chen
- Abstract要約: 本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
- 参考スコア(独自算出の注目度): 62.639851972495094
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current top-notch deep learning (DL) based vision models are primarily based
on exploring and exploiting the inherent correlations between training data
samples and their associated labels. However, a known practical challenge is
their degraded performance against "noisy" data, induced by different
circumstances such as spurious correlations, irrelevant contexts, domain shift,
and adversarial attacks. In this work, we incorporate this binary information
of "existence of noise" as treatment into image classification tasks to improve
prediction accuracy by jointly estimating their treatment effects. Motivated
from causal variational inference, we propose a transformer-based architecture,
Treatment Learning Causal Transformer (TLT), that uses a latent generative
model to estimate robust feature representations from current observational
input for noise image classification. Depending on the estimated noise level
(modeled as a binary treatment factor), TLT assigns the corresponding inference
network trained by the designed causal loss for prediction. We also create new
noisy image datasets incorporating a wide range of noise factors (e.g., object
masking, style transfer, and adversarial perturbation) for performance
benchmarking. The superior performance of TLT in noisy image classification is
further validated by several refutation evaluation metrics. As a by-product,
TLT also improves visual salience methods for perceiving noisy images.
- Abstract(参考訳): 現在のトップノートディープラーニング(DL)ベースのビジョンモデルは主に、トレーニングデータサンプルと関連するラベル間の固有の相関を探索し、活用することに基づいている。
しかしながら、既知の実用的な課題は、スプリアス相関、無関係なコンテキスト、ドメインシフト、逆境攻撃などの異なる状況によって引き起こされる「ノイズ」データに対する低下したパフォーマンスである。
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで,その処理効果を共同で推定することで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための現在の観測入力からロバストな特徴表現を推定するために潜在生成モデルを用いた,変圧器に基づく処理学習因果変換器(TLT)を提案する。
TLTは、推定ノイズレベル(バイナリ処理係数としてモデル化)に応じて、設計した因果損失によってトレーニングされた対応する推論ネットワークを割り当て、予測を行う。
また、パフォーマンスベンチマークのための幅広いノイズ要因(オブジェクトマスキング、スタイル転送、逆方向摂動など)を取り入れた、ノイズの多い画像データセットも作成する。
雑音画像分類におけるTLTの優れた性能は、いくつかの難燃評価指標によりさらに検証される。
副産物として、TLTはノイズ画像を認識する視覚的サリエンス法も改善した。
関連論文リスト
- Classification-Denoising Networks [6.783232060611113]
画像分類と認知は、堅牢性の欠如や条件情報の部分的に無視という相補的な問題に悩まされる。
両タスクを(ノイズの多い)画像とクラスラベルの結合確率のモデルで統一することで緩和できると論じる。
CIFAR-10とImageNetの数値実験は、競合する分類とノイズ発生性能を示している。
論文 参考訳(メタデータ) (2024-10-04T15:20:57Z) - SSP-RACL: Classification of Noisy Fundus Images with Self-Supervised Pretraining and Robust Adaptive Credal Loss [3.8739860035485143]
基礎画像分類はコンピュータの診断タスクにおいて重要であるが、ラベルノイズはディープニューラルネットワークの性能を著しく損なう。
本稿では,ロバスト適応クレダルロス (SSP-RACL) を用いた自己監督型事前訓練(Self-Supervised Pre-training)を提案する。
論文 参考訳(メタデータ) (2024-09-25T02:41:58Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳(メタデータ) (2023-06-12T18:12:19Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳(メタデータ) (2022-12-14T08:19:30Z) - Embedding contrastive unsupervised features to cluster in- and
out-of-distribution noise in corrupted image datasets [18.19216557948184]
Web画像検索に検索エンジンを使用することは、イメージデータセットを作成する際の手作業によるキュレーションに代わる誘惑的な手段である。
主な欠点は、回収された間違った(ノイズの多い)サンプルの割合である。
本稿では,教師なしのコントラスト特徴学習を用いた検出ステップから始める2段階のアルゴリズムを提案する。
比較学習のアライメントと均一性原理により,OODサンプルは単位超球面上のIDサンプルから線形に分離できることがわかった。
論文 参考訳(メタデータ) (2022-07-04T16:51:56Z) - Evaluating and Mitigating Bias in Image Classifiers: A Causal
Perspective Using Counterfactuals [27.539001365348906]
本稿では、逆学習推論(ALI)の改良版に構造因果モデル(SCM)を組み込むことにより、逆ファクトアルを生成する方法を提案する。
本稿では,事前学習された機械学習分類器の説明方法を示し,そのバイアスを評価し,そのバイアスを正則化器を用いて緩和する方法について述べる。
論文 参考訳(メタデータ) (2020-09-17T13:19:31Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。