論文の概要: Enhancing Adversarial Robustness of Vision-Language Models through Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2404.13425v3
• Date: Thu, 20 Feb 2025 02:24:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 10:45:24.707999
• Title: Enhancing Adversarial Robustness of Vision-Language Models through Low-Rank Adaptation
• Title（参考訳）: 低ランク適応による視覚言語モデルの逆ロバスト性向上
• Authors: Yuheng Ji, Yue Liu, Zhicheng Zhang, Zhao Zhang, Yuting Zhao, Xiaoshuai Hao, Gang Zhou, Xingwei Zhang, Xiaolong Zheng,
• Abstract要約: 視覚言語モデル(VLM)は、人工知能(AGI)の発展に重要な役割を果たす セキュリティ問題への対処は、VLMにとって最も重要な課題の1つとして浮上している。 我々は,低ランク適応に基づくtextbftextitAdvLoRA というパラメータ効率の高い逆適応手法を提案する。
• 参考スコア（独自算出の注目度）: 15.065302021892318
• License:
• Abstract: Vision-Language Models (VLMs) play a crucial role in the advancement of Artificial General Intelligence (AGI). As AGI rapidly evolves, addressing security concerns has emerged as one of the most significant challenges for VLMs. In this paper, we present extensive experiments that expose the vulnerabilities of conventional adaptation methods for VLMs, highlighting significant security risks. Moreover, as VLMs grow in size, the application of traditional adversarial adaptation techniques incurs substantial computational costs. To address these issues, we propose a parameter-efficient adversarial adaptation method called \textbf{\textit{AdvLoRA}} based on Low-Rank Adaptation. We investigate and reveal the inherent low-rank properties involved in adversarial adaptation for VLMs. Different from LoRA, we enhance the efficiency and robustness of adversarial adaptation by introducing a novel reparameterization method that leverages parameter clustering and alignment. Additionally, we propose an adaptive parameter update strategy to further bolster robustness. These innovations enable our AdvLoRA to mitigate issues related to model security and resource wastage. Extensive experiments confirm the effectiveness and efficiency of AdvLoRA.
• Abstract（参考訳）: ビジョンランゲージモデル(VLM)は、人工知能(AGI)の発展において重要な役割を果たす。 AGIが急速に進化するにつれて、セキュリティ上の懸念に対処することが、VLMにとって最も重要な課題の1つとなっている。 本稿では,従来のVLMへの適応手法の脆弱性を暴露する広範囲な実験を行い,重大なセキュリティリスクを明らかにする。 さらに、VLMのサイズが大きくなるにつれて、従来の対数適応技術の適用により、かなりの計算コストが発生する。 これらの問題に対処するために、低ランク適応に基づくパラメータ効率の逆適応法である「textbf{\textit{AdvLoRA}}」を提案する。 VLMの逆順応に係わる固有の低ランク特性について検討・明らかにする。 LoRAと異なり、パラメータのクラスタリングとアライメントを活用する新しい再パラメータ化手法を導入することにより、対向適応の効率性と堅牢性を向上する。 さらに,ロバスト性を高めるための適応パラメータ更新戦略を提案する。 これらのイノベーションにより、AdvLoRAは、モデルのセキュリティとリソースの無駄に関する問題を軽減できます。 大規模な実験により、AdvLoRAの有効性と有効性が確認された。

関連論文リスト

• PitVQA++: Vector Matrix-Low-Rank Adaptation for Open-Ended Visual Question Answering in Pituitary Surgery [16.957689975841113]
  視覚的質問応答(VQA)における視覚言語モデル(VLM)は、術中意思決定を強化し、直感的な相互作用を促進し、外科教育を著しく進歩させるユニークな機会を提供する。 外科的VQAのためのVLMの開発は、限られたデータセットと、事前訓練された重量の完全な微調整中に過剰適合と破滅的な忘れ込みのリスクのために困難である。 この研究は、開封されたPitVQAデータセットと、下垂体手術にGPT-2を適用するための革新的なVLM微調整アプローチを取り入れたPitVQAを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T23:28:39Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolution [1.8814321586521556]
  SoS(Survival of the Safest)は、革新的な多目的プロンプト最適化フレームワークである。 これは、大きな言語モデルにおけるパフォーマンスとセキュリティの両方を同時に強化する。 SoSは、複雑な高次元の離散探索空間における最適化を高速化するスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-12T21:16:29Z)
• Towards Adversarially Robust Vision-Language Models: Insights from Design Choices and Prompt Formatting Techniques [12.907116223796201]
  VLM(Vision-Language Models)は、研究と現実世界の両方の応用が急増しているのを目撃している。 本研究は,画像ベース攻撃に対するVLMの対角的ロバスト性に対するモデル設計選択の影響を系統的に検討する。
  論文  参考訳（メタデータ） (2024-07-15T18:00:01Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。