論文の概要: LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem

• arxiv url: http://arxiv.org/abs/2403.00108v2
• Date: Wed, 30 Apr 2025 22:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.662261
• Title: LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
• Title（参考訳）: LoRATK:LoRA once, Backdoor Everywhere in the Share-and-Play Ecosystem
• Authors: Hongyi Liu, Shaochen Zhong, Xintong Sun, Minghao Tian, Mohsen Hariri, Zirui Liu, Ruixiang Tang, Zhimeng Jiang, Jiayi Yuan, Yu-Neng Chuang, Li Li, Soo-Hyun Choi, Rui Chen, Vipin Chaudhary, Xia Hu,
• Abstract要約: タスク強化型LORAにバックドアを注入する方法を検討する。 シンプルで効率的で具体的なレシピで、バックドアのLoRAを一度トレーニングして、シームレスに複数のLoRAとマージできることが分かりました。 我々の研究は、下流の可搬性イットバックドア注入型LORAのトレーニング不要分布の新しい脅威モデルを研究する最初のものである。
• 参考スコア（独自算出の注目度）: 55.2986934528672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning LLMs with LoRA has gained significant popularity due to its simplicity and effectiveness. Often, users may even find pluggable, community-shared LoRAs to enhance their base models for a specific downstream task of interest; enjoying a powerful, efficient, yet customized LLM experience with negligible investment. However, this convenient share-and-play ecosystem also introduces a new attack surface, where attackers can distribute malicious LoRAs to a community eager to try out shared assets. Despite the high-risk potential, no prior art has comprehensively explored LoRA's attack surface under the downstream-enhancing share-and-play context. In this paper, we investigate how backdoors can be injected into task-enhancing LoRAs and examine the mechanisms of such infections. We find that with a simple, efficient, yet specific recipe, a backdoor LoRA can be trained once and then seamlessly merged (in a training-free fashion) with multiple task-enhancing LoRAs, retaining both its malicious backdoor and benign downstream capabilities. This allows attackers to scale the distribution of compromised LoRAs with minimal effort by leveraging the rich pool of existing shared LoRA assets. We note that such merged LoRAs are particularly infectious -- because their malicious intent is cleverly concealed behind improved downstream capabilities, creating a strong incentive for voluntary download -- and dangerous -- because under local deployment, no safety measures exist to intervene when things go wrong. Our work is among the first to study this new threat model of training-free distribution of downstream-capable-yet-backdoor-injected LoRAs, highlighting the urgent need for heightened security awareness in the LoRA ecosystem. Warning: This paper contains offensive content and involves a real-life tragedy.
• Abstract（参考訳）: LLMをLoRAで微調整することは、その単純さと有効性から大きな人気を得た。 多くの場合、ユーザーは特定の下流タスクのためにベースモデルを強化するために、プラグイン可能なコミュニティ共有のLoRAを見つけることもあります。 しかし、この便利な共有とプレイのエコシステムはまた、攻撃者が悪意のあるLoRAを共有資産を試したいコミュニティに配布する新たな攻撃面も導入している。 高リスクの可能性にもかかわらず、LoRAの攻撃面を下流の共有とプレイのコンテキスト下で包括的に調査する先行技術は存在しない。 本稿では,タスク強化型LORAにバックドアを注入する方法について検討し,そのメカニズムについて検討する。 シンプルで効率的で具体的なレシピで、バックドアのLoRAを一度トレーニングして、複数のタスク強化のLoRAとシームレスにマージして、悪意のあるバックドアと良心的な下流の機能を維持できることが分かりました。 これにより、攻撃者は、既存の共有されたLoRA資産の豊富なプールを活用することで、妥協されたLoRAの分散を最小限の労力でスケールできる。 このような統合されたLoRAは、特に感染性が高い -- 悪質な意図がダウンストリーム機能の改善に巧みに隠れており、自発的にダウンロードするための強いインセンティブを生み出している -- と危険である — 理由として、ローカルデプロイメントでは、問題が発生した場合に介入する安全対策が存在しないためです。 当社の研究は、下流に収容可能なバックドア注入型LORAのトレーニング不要な配布に関する新たな脅威モデルとして、LoRAエコシステムにおけるセキュリティ意識を高める緊急の必要性を浮き彫りにした最初のもののひとつです。 警告:本論文は不快な内容を含み、現実の悲劇を巻き起こす。

関連論文リスト

• Activated LoRA: Fine-tuned LLMs for Intrinsics [9.503174205896533]
  Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。 本稿では,アクティベートされたLoRA(aLoRA)を提案する。 この変更により、aLoRAは入力文字列のベースモデルのKVキャッシュを受け入れることができる。
  論文  参考訳（メタデータ） (2025-04-16T18:03:21Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• Learning Attentional Mixture of LoRAs for Language Model Continual Learning [5.405488709294211]
  Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T08:34:54Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
  低ランク適応(LoRA)を用いた微調整型大規模言語モデルが一般的となっている。 本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。 最大500台のLoRAによる実験では、圧縮されたLoRAは大きなスループット向上を提供しながら性能を保っていることが示されている。
  論文  参考訳（メタデータ） (2024-06-17T15:21:35Z)
• Safe LoRA: the Silver Lining of Reducing Safety Risks when Fine-tuning Large Language Models [51.20476412037321]
  提案するSafe LoRAは,選択した層からのLoRA重みの投影を安全に整合した部分空間に導入することにより,オリジナルのLoRA実装に対する単純なワンライナーパッチである。 我々の実験は、純粋に悪意のあるデータに対して微調整を行う場合、Safe LoRAは元のアライメントモデルと同様の安全性を保っていることを示した。
  論文  参考訳（メタデータ） (2024-05-27T05:04:05Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Continual Forgetting for Pre-trained Vision Models [70.51165239179052]
  現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。 効率的な削除のためのグループスパースロラ(GS-LoRA)を提案する。 我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,GS-LoRAが他のクラスに最小限の影響で,特定のクラスを忘れることが実証された。
  論文  参考訳（メタデータ） (2024-03-18T07:33:56Z)
• Privacy-Preserving Low-Rank Adaptation for Latent Diffusion Models [18.472894244598503]
  低ランク適応(LoRA)は、個人データセットに潜時拡散モデル(LDM)を適用して特定の画像を生成するための効率的な戦略である。 我々は,MP-LoRA(Community-Privacy-Reserving LoRA)というソリューションを提案する。 MP-LoRAには不安定な最適化の問題があり、理論的には、潜在的な理由は制約のない局所的滑らかさである。 実験の結果,SMP-LoRAはMI攻撃を防ぎ,高品質な画像を生成することができることがわかった。
  論文  参考訳（メタデータ） (2024-02-19T09:32:48Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。