論文の概要: AdvLoRA: Adversarial Low-Rank Adaptation of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2404.13425v1
• Date: Sat, 20 Apr 2024 17:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-23 19:00:27.538908
• Title: AdvLoRA: Adversarial Low-Rank Adaptation of Vision-Language Models
• Title（参考訳）: AdvLoRA:視覚言語モデルの逆低ランク適応
• Authors: Yuheng Ji, Yue Liu, Zhicheng Zhang, Zhao Zhang, Yuting Zhao, Gang Zhou, Xingwei Zhang, Xinwang Liu, Xiaolong Zheng,
• Abstract要約: 視覚言語モデル(VLM)は人工知能(AGI)の重要な技術である 本稿では,VLMの従来の適応手法の脆弱性を実証し,セキュリティ上の重大なリスクをもたらす可能性があることを示す。 パラメータ効率の高いアンダーラインAdvLoRAをアンダーラインLow-underlineRankアンダーライン適応により提案する。
• 参考スコア（独自算出の注目度）: 47.50206551100736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) are a significant technique for Artificial General Intelligence (AGI). With the fast growth of AGI, the security problem become one of the most important challenges for VLMs. In this paper, through extensive experiments, we demonstrate the vulnerability of the conventional adaptation methods for VLMs, which may bring significant security risks. In addition, as the size of the VLMs increases, performing conventional adversarial adaptation techniques on VLMs results in high computational costs. To solve these problems, we propose a parameter-efficient \underline{Adv}ersarial adaptation method named \underline{AdvLoRA} by \underline{Lo}w-\underline{R}ank \underline{A}daptation. At first, we investigate and reveal the intrinsic low-rank property during the adversarial adaptation for VLMs. Different from LoRA, we improve the efficiency and robustness of adversarial adaptation by designing a novel reparameterizing method based on parameter clustering and parameter alignment. In addition, an adaptive parameter update strategy is proposed to further improve the robustness. By these settings, our proposed AdvLoRA alleviates the model security and high resource waste problems. Extensive experiments demonstrate the effectiveness and efficiency of the AdvLoRA.
• Abstract（参考訳）: VLM(Vision-Language Models)は、人工知能(AGI)において重要な技術である。 AGIの急速な成長に伴い、セキュリティ問題はVLMにとって最も重要な課題の1つとなった。 本稿では,広範にわたる実験を通じて,従来のVLMの適応手法の脆弱性を実証する。 さらに、VLMのサイズが大きくなるにつれて、従来のVLMへの逆適応技術の実行により、計算コストが高くなる。 これらの問題を解決するために、パラメータ効率の高い \underline{Adv}ersarial adaptation methodである \underline{AdvLoRA}w-\underline{R}ank \underline{A}daptationを提案する。 まず, VLMの対角適応における本質的な低ランク特性について検討し, 明らかにした。 LoRAと異なり、パラメータクラスタリングとパラメータアライメントに基づく新しい再パラメータ化法を設計することにより、対向適応の効率性と堅牢性を向上させる。 さらに、ロバスト性をさらに向上するため、適応パラメータ更新戦略を提案する。 これらの設定により,提案したAdvLoRAはモデルセキュリティと高資源廃棄物問題を軽減する。 大規模な実験はAdvLoRAの有効性と効率を実証している。

関連論文リスト

• AdPO: Enhancing the Adversarial Robustness of Large Vision-Language Models with Preference Optimization [11.381262184752234]
  本稿では,優先最適化に基づくLVLMの新たな敵防衛戦略であるAdPOを提案する。 提案手法は, クリーンな入力に対して正規出力を生成するためのモデルの嗜好を高めることを目的として, 優先最適化問題として, 対人訓練を再構成するものである。 より小さなLVLMのトレーニングは,ベースライン法に匹敵する効率を維持しつつ,競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2025-04-02T13:43:21Z)
• Serial Low-rank Adaptation of Vision Transformer [29.30288559885983]
  ローランク適応(ローランク適応、LoRA)は、この領域で確立された技術である。 注目機構を組み込んだ共有低ランク行列直列合成を導入した新しいLoRA変種であるSerial LoRAを提案する。 本研究では,トランス構造を用いた視覚基礎モデルの広範囲な実験を行い,その一貫した優位性を確認した。
  論文  参考訳（メタデータ） (2025-03-22T12:20:02Z)
• PitVQA++: Vector Matrix-Low-Rank Adaptation for Open-Ended Visual Question Answering in Pituitary Surgery [16.957689975841113]
  視覚的質問応答(VQA)における視覚言語モデル(VLM)は、術中意思決定を強化し、直感的な相互作用を促進し、外科教育を著しく進歩させるユニークな機会を提供する。 外科的VQAのためのVLMの開発は、限られたデータセットと、事前訓練された重量の完全な微調整中に過剰適合と破滅的な忘れ込みのリスクのために困難である。 この研究は、開封されたPitVQAデータセットと、下垂体手術にGPT-2を適用するための革新的なVLM微調整アプローチを取り入れたPitVQAを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T23:28:39Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA [24.871424801066006]
  LLM(Large Language Models)のフェデレートされた微調整は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。 ヘテロジニアス適応型低ランク適応(LoRA)ファインチューニングLDMフレームワーク(HAFL)を提案する。 提案手法は,低通信サイズで迅速に収束し,クライアントへのモデル配信時の性能劣化を回避する。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
  低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。 本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
  論文  参考訳（メタデータ） (2024-07-16T15:26:31Z)
• Towards Adversarially Robust Vision-Language Models: Insights from Design Choices and Prompt Formatting Techniques [12.907116223796201]
  VLM(Vision-Language Models)は、研究と現実世界の両方の応用が急増しているのを目撃している。 本研究は,画像ベース攻撃に対するVLMの対角的ロバスト性に対するモデル設計選択の影響を系統的に検討する。
  論文  参考訳（メタデータ） (2024-07-15T18:00:01Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers [61.48709409150777]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。