論文の概要: SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial
Training for robust Chest X-rays Classification
- arxiv url: http://arxiv.org/abs/2308.07874v1
- Date: Tue, 15 Aug 2023 16:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 12:01:49.809391
- Title: SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial
Training for robust Chest X-rays Classification
- Title（参考訳）: SEDA:頑健な胸部X線分類のための防衛蒸留と対向訓練による自己組立型VT
- Authors: Raza Imam, Ibrahim Almakky, Salma Alrashdi, Baketah Alrashdi, Mohammad
Yaqub
- Abstract要約: ViT(Vision Transformer)は、敵、プライバシ、シークレットの攻撃に対して、医療環境における信頼性に対する深刻な懸念を引き起こす。
防衛蒸留・逆行訓練(SEDA)を用いた自己組立型ViTを提案する。
SEDAは、効率的なCNNブロックを用いて、中間 ViT ブロックから抽出した特徴表現から様々なレベルの抽象的な空間的特徴を学習する。
- 参考スコア（独自算出の注目度）: 0.8812173669205372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning methods have recently seen increased adoption in medical
imaging applications. However, elevated vulnerabilities have been explored in
recent Deep Learning solutions, which can hinder future adoption. Particularly,
the vulnerability of Vision Transformer (ViT) to adversarial, privacy, and
confidentiality attacks raise serious concerns about their reliability in
medical settings. This work aims to enhance the robustness of self-ensembling
ViTs for the tuberculosis chest x-ray classification task. We propose
Self-Ensembling ViT with defensive Distillation and Adversarial training
(SEDA). SEDA utilizes efficient CNN blocks to learn spatial features with
various levels of abstraction from feature representations extracted from
intermediate ViT blocks, that are largely unaffected by adversarial
perturbations. Furthermore, SEDA leverages adversarial training in combination
with defensive distillation for improved robustness against adversaries.
Training using adversarial examples leads to better model generalizability and
improves its ability to handle perturbations. Distillation using soft
probabilities introduces uncertainty and variation into the output
probabilities, making it more difficult for adversarial and privacy attacks.
Extensive experiments performed with the proposed architecture and training
paradigm on publicly available Tuberculosis x-ray dataset shows SOTA efficacy
of SEDA compared to SEViT in terms of computational efficiency with 70x times
lighter framework and enhanced robustness of +9%.
- Abstract（参考訳）: ディープラーニングの手法は最近、医療画像アプリケーションへの採用が増加している。
しかし、近年のDeep Learningソリューションでは高度な脆弱性が調査されており、将来の採用を妨げる可能性がある。
特に、敵、プライバシー、機密性攻撃に対するViT(Vision Transformer)の脆弱性は、医療現場での信頼性に対する深刻な懸念を引き起こす。
本研究は,結核胸部X線分類作業における自己認識型ViTの堅牢性を高めることを目的としている。
防衛蒸留と防犯訓練(seda)を併用した自己センシングvitを提案する。
SEDAは効率の良いCNNブロックを用いて、中間VTブロックから抽出された特徴表現から様々なレベルの抽象的な空間的特徴を学習する。
さらに,SEDAは防御蒸留と併用して敵に対する堅牢性を向上する。
逆例を用いたトレーニングはより優れたモデル一般化可能性をもたらし、摂動を扱う能力を向上させる。
ソフト確率を用いた蒸留は出力確率に不確実性と変動をもたらし、敵意やプライバシ攻撃を難しくする。
提案したアーキテクチャとトレーニングパラダイムを併用した実験により,SEDAのSOTA効果をSEViTと比較し,70倍の軽量フレームワークで計算効率を向上し,強靭性を+9%向上させた。
関連論文リスト
- Robust and Explainable Framework to Address Data Scarcity in Diagnostic Imaging [6.744847405966574]
Efficient Transfer and Self-supervised Learning based Ensemble Framework (ETSEF) と呼ばれる新しいアンサンブルフレームワークを導入する。
ETSEFは、訓練済みの複数のディープラーニングモデルの特徴を活用して、限られたデータサンプルから強力な表現を効率的に学習する。
内視鏡検査,乳がん,サルポックス,脳腫瘍,緑内障検出,緑内障検出の5つの独立した医療画像検査を行い,ETSEFの有効性と堅牢性について検討した。
論文 参考訳（メタデータ） (2024-07-09T05:48:45Z) - The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。
敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。
本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
論文 参考訳（メタデータ） (2024-05-14T18:05:19Z) - Hide in Thicket: Generating Imperceptible and Rational Adversarial
Perturbations on 3D Point Clouds [62.94859179323329]
3Dポイントクラウド分類のための点操作に基づくアドリアック手法により、3Dモデルの脆弱性を明らかにした。
そこで本研究では,2段階の攻撃領域探索を行うHT-ADV法を提案する。
我々は,良性再サンプリングと良性剛性変換を用いることで,不受容性への犠牲がほとんどなく,身体的敵意の強さをさらに高めることができることを示唆する。
論文 参考訳（メタデータ） (2024-03-08T12:08:06Z) - On enhancing the robustness of Vision Transformers: Defensive Diffusion [0.0]
SOTAビジョンモデルであるViTは、大量の患者データをトレーニングに頼っている。
敵はViTの脆弱性を利用して機密情報を抽出し、患者のプライバシーを侵害する可能性がある。
この研究は、医療応用におけるViTの信頼性と信頼性を確保するために、これらの脆弱性に対処する。
論文 参考訳（メタデータ） (2023-05-14T00:17:33Z) - Self-Ensembling Vision Transformer (SEViT) for Robust Medical Image
Classification [4.843654097048771]
ビジョントランスフォーマー(ViT)は、医療画像における様々なコンピュータビジョンタスクのために、畳み込みニューラルネットワーク(CNN)を置き換えるために競合している。
近年の研究では、ViTsはそのような攻撃の影響を受けやすく、攻撃下での大幅な性能劣化が報告されている。
本稿では,対戦型攻撃の存在下でのViTの堅牢性を高めるための,新たな自己認識手法を提案する。
論文 参考訳（メタデータ） (2022-08-04T19:02:24Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Exploring Adversarially Robust Training for Unsupervised Domain
Adaptation [71.94264837503135]
Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。
本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-02-18T17:05:19Z) - Performance or Trust? Why Not Both. Deep AUC Maximization with
Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。
本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
論文 参考訳（メタデータ） (2021-12-14T21:16:52Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Towards Robust Neural Networks via Orthogonal Diversity [30.77473391842894]
敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。
本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。
このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
論文 参考訳（メタデータ） (2020-10-23T06:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。