論文の概要: SEAL: Entangled White-box Watermarks on Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2501.09284v1
• Date: Thu, 16 Jan 2025 04:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:53.304096
• Title: SEAL: Entangled White-box Watermarks on Low-Rank Adaptation
• Title（参考訳）: SEAL: 低ランク適応に関するホワイトボックスの透かし
• Authors: Giyeong Oh, Seajin Kim, Woohyun Cho, Sangkyu Lee, Jiwan Chung, Dokyung Song, Youngjae Yu,
• Abstract要約: SEALはトレーニング可能なLoRA重みの間に秘密の非トレーニング可能なマトリックスを埋め込み、所有権を主張するためのパスポートとして機能する。 SEALを適用する際には,コモンセンス推論,テキスト・ビジュアル・インストラクション・チューニング,テキスト・ツー・イメージ・シンセサイザー・タスクによるパフォーマンス劣化は見られなかった。
• 参考スコア（独自算出の注目度）: 14.478685983719128
• License:
• Abstract: Recently, LoRA and its variants have become the de facto strategy for training and sharing task-specific versions of large pretrained models, thanks to their efficiency and simplicity. However, the issue of copyright protection for LoRA weights, especially through watermark-based techniques, remains underexplored. To address this gap, we propose SEAL (SEcure wAtermarking on LoRA weights), the universal whitebox watermarking for LoRA. SEAL embeds a secret, non-trainable matrix between trainable LoRA weights, serving as a passport to claim ownership. SEAL then entangles the passport with the LoRA weights through training, without extra loss for entanglement, and distributes the finetuned weights after hiding the passport. When applying SEAL, we observed no performance degradation across commonsense reasoning, textual/visual instruction tuning, and text-to-image synthesis tasks. We demonstrate that SEAL is robust against a variety of known attacks: removal, obfuscation, and ambiguity attacks.
• Abstract（参考訳）: 最近、LoRAとその変種は、その効率性と単純さのおかげで、大規模な事前訓練されたモデルのタスク固有のバージョンを訓練し、共有するための事実上の戦略となっている。 しかし、LoRAの重みに対する著作権保護の問題、特に透かしに基づく技術は未解決のままである。 このギャップに対処するために、LoRAの汎用ホワイトボックス透かしであるSEAL(SEcure wAtermarking on LoRA weights)を提案する。 SEALはトレーニング可能なLoRA重みの間に秘密の非トレーニング可能なマトリックスを埋め込み、所有権を主張するためのパスポートとして機能する。 その後、SEALはパスポートをLoRAウェイトとアンタングルし、余分な損失を伴わず、パスポートを隠した後に微調整されたウェイトを分配する。 SEALを適用する際には,コモンセンス推論,テキスト・ビジュアル・インストラクション・チューニング,テキスト・ツー・イメージ・シンセサイザー・タスクによるパフォーマンス劣化は見られなかった。 我々はSEALが様々な既知の攻撃(除去、難読化、曖昧性攻撃)に対して堅牢であることを示した。

関連論文リスト

• Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
  低ランク適応(LoRA)を用いた微調整型大規模言語モデルが一般的となっている。 本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。 最大500台のLoRAによる実験では、圧縮されたLoRAは大きなスループット向上を提供しながら性能を保っていることが示されている。
  論文  参考訳（メタデータ） (2024-06-17T15:21:35Z)
• LoRA Learns Less and Forgets Less [25.09261710396838]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整法である。 プログラムと数学の2つの対象領域におけるLoRAの性能と完全な微調整を比較した。
  論文  参考訳（メタデータ） (2024-05-15T19:27:45Z)
• LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
  LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。 我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
  論文  参考訳（メタデータ） (2024-02-29T20:25:16Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• Multi-LoRA Composition for Image Generation [107.83002438126832]
  復号化中心の観点から,マルチロラ合成について検討する。 我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:18Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation [27.123271324468657]
  Low-Rank Adaptation (LoRA)は、現在最も一般的に使われている言語である。 効率的な微細チューニング法(PEFT)。 各レイヤの補助パラメータを導入し、限られたコンピューティングリソースの下で事前訓練されたモデルを微調整する。 しかし、より大きなモデルにスケールアップする際には、依然としてリソース消費の課題に直面している。
  論文  参考訳（メタデータ） (2024-02-12T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。