論文の概要: Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models

• arxiv url: http://arxiv.org/abs/2407.02716v1
• Date: Tue, 2 Jul 2024 23:48:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 17:54:48.161574
• Title: Light-weight Fine-tuning Method for Defending Adversarial Noise in Pre-trained Medical Vision-Language Models
• Title（参考訳）: 事前訓練型医用ビジョンランゲージモデルにおける逆方向雑音の抑制のための軽量微調整法
• Authors: Xu Han, Linghao Jin, Xuezhe Ma, Xiaofeng Liu,
• Abstract要約: 微調整事前学習型視覚言語モデル(VLM)は、医用画像とテキスト描写相乗効果において顕著な能力を示した。 多くの事前トレーニングデータセットは、患者プライバシの懸念によって制限されており、下流のパフォーマンスに悪影響を及ぼす可能性のあるノイズを含む可能性がある。 本稿では,敵の攻撃を効果的に防御し,微調整時に上流の騒音の影響を是正する手法であるRAN(Creify Adversarial noise)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.33637232484219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained Vision-Language Models (VLMs) has shown remarkable capabilities in medical image and textual depiction synergy. Nevertheless, many pre-training datasets are restricted by patient privacy concerns, potentially containing noise that can adversely affect downstream performance. Moreover, the growing reliance on multi-modal generation exacerbates this issue because of its susceptibility to adversarial attacks. To investigate how VLMs trained on adversarial noisy data perform on downstream medical tasks, we first craft noisy upstream datasets using multi-modal adversarial attacks. Through our comprehensive analysis, we unveil that moderate noise enhances model robustness and transferability, but increasing noise levels negatively impact downstream task performance. To mitigate this issue, we propose rectify adversarial noise (RAN) framework, a recipe designed to effectively defend adversarial attacks and rectify the influence of upstream noise during fine-tuning.
• Abstract（参考訳）: 微調整事前学習型視覚言語モデル(VLM)は、医用画像とテキスト描写相乗効果において顕著な能力を示した。 それでも、多くの事前トレーニングデータセットは患者のプライバシの懸念によって制限されており、下流のパフォーマンスに悪影響を及ぼす可能性のあるノイズを含んでいる可能性がある。 さらに、マルチモーダル・ジェネレーションへの依存度が高まると、敵攻撃への感受性が増すため、この問題が悪化する。 下流の医療タスクにおいて,VLMが逆方向のノイズデータを学習する方法について検討するため,マルチモーダルな逆方向攻撃を用いて,まず上流のノイズを発生させる。 包括的分析により、中程度の雑音はモデルの堅牢性と伝達性を高めるが、ノイズレベルの増加は下流タスク性能に悪影響を及ぼすことが示された。 この問題を軽減するため、我々は、敵の攻撃を効果的に防御し、微調整中に上流の騒音の影響を是正するレシピである、敵の騒音(RAN)フレームワークの修正を提案する。

関連論文リスト

• Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
  クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
  論文  参考訳（メタデータ） (2024-09-03T02:29:01Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task [14.707646721729228]
  現実的な対話システムでは、ユーザからの入力情報は様々な種類の入力摂動の対象となることが多い。 本研究では,ノイズアライメント事前学習による摂動ロバスト統合フレームワークであるNoss-BERTを提案する。 本フレームワークは,2つのノイズアライメント事前学習タスクを組み込んでいる。
  論文  参考訳（メタデータ） (2024-02-22T12:39:50Z)
• Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
  データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。 本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-22T01:43:57Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• On enhancing the robustness of Vision Transformers: Defensive Diffusion [0.0]
  SOTAビジョンモデルであるViTは、大量の患者データをトレーニングに頼っている。 敵はViTの脆弱性を利用して機密情報を抽出し、患者のプライバシーを侵害する可能性がある。 この研究は、医療応用におけるViTの信頼性と信頼性を確保するために、これらの脆弱性に対処する。
  論文  参考訳（メタデータ） (2023-05-14T00:17:33Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Towards Adversarially Robust Deep Image Denoising [199.2458715635285]
  本研究は,ディープ・イメージ・デノイザ(DID)の対角的ロバスト性について系統的に検討する。 本稿では,観測に基づくゼロ平均アタック(sc ObsAtk)という新たな敵攻撃を提案する。 DIDを頑健化するために,DIDと非対向雑音データとを併用したハイブリッド対向訓練(sc HAT)を提案する。
  論文  参考訳（メタデータ） (2022-01-12T10:23:14Z)
• Removing Adversarial Noise in Class Activation Feature Space [160.78488162713498]
  クラスアクティベーション機能空間において,自己監視型対人訓練機構を実装することにより,対人雑音の除去を提案する。 クラスアクティベーション機能空間における敵対例と自然な例の間の距離を最小にするために、デノイジングモデルを訓練する。 経験的評価により, 従来の手法と比較して, 敵対的堅牢性が有意に向上できることが示された。
  論文  参考訳（メタデータ） (2021-04-19T10:42:24Z)
• On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
  Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
  論文  参考訳（メタデータ） (2021-01-19T02:04:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。