論文の概要: Taylor Unswift: Secured Weight Release for Large Language Models via Taylor Expansion

• arxiv url: http://arxiv.org/abs/2410.05331v1
• Date: Sun, 6 Oct 2024 01:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:27:19.016276
• Title: Taylor Unswift: Secured Weight Release for Large Language Models via Taylor Expansion
• Title（参考訳）: Taylor Unswift氏:Taylorの拡張による大規模言語モデルのためのセキュアなウェイトリリース
• Authors: Guanchu Wang, Yu-Neng Chuang, Ruixiang Tang, Shaochen Zhong, Jiayi Yuan, Hongye Jin, Zirui Liu, Vipin Chaudhary, Shuai Xu, James Caverlee, Xia Hu,
• Abstract要約: TaylorMLPを導入して、リリース済みの大規模言語モデル(LLM)のオーナシップを保護する。 オリジナルのウェイトをリリースするのではなく、開発者はTaylor-Seriesパラメータをユーザにリリースすることができる。 テイラー系列の項を増やすことにより、保護されたLLMに対して低速トークン生成を誘導することができる。
• 参考スコア（独自算出の注目度）: 67.09539191596889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensuring the security of released large language models (LLMs) poses a significant dilemma, as existing mechanisms either compromise ownership rights or raise data privacy concerns. To address this dilemma, we introduce TaylorMLP to protect the ownership of released LLMs and prevent their abuse. Specifically, TaylorMLP preserves the ownership of LLMs by transforming the weights of LLMs into parameters of Taylor-series. Instead of releasing the original weights, developers can release the Taylor-series parameters with users, thereby ensuring the security of LLMs. Moreover, TaylorMLP can prevent abuse of LLMs by adjusting the generation speed. It can induce low-speed token generation for the protected LLMs by increasing the terms in the Taylor-series. This intentional delay helps LLM developers prevent potential large-scale unauthorized uses of their models. Empirical experiments across five datasets and three LLM architectures demonstrate that TaylorMLP induces over 4x increase in latency, producing the tokens precisely matched with original LLMs. Subsequent defensive experiments further confirm that TaylorMLP effectively prevents users from reconstructing the weight values based on downstream datasets.
• Abstract（参考訳）: リリースされた大きな言語モデル(LLM)のセキュリティを確保することは、既存のメカニズムが所有権を侵害するか、データプライバシの懸念を生じさせるため、大きなジレンマとなる。 このジレンマに対処するために、TaylorMLPを導入し、LLMの所有権を保護し、それらの乱用を防ぐ。 具体的には、TaylorMLP は LLM の重みを Taylor-Series のパラメータに変換することで LLM の所有権を保っている。 オリジナルのウェイトをリリースするのではなく、開発者はTaylor-Seriesパラメータをユーザにリリースすることで、LCMのセキュリティを確保することができる。 さらに、TaylorMLPは、生成速度を調整することにより、LCMの悪用を防止することができる。 テイラー系列の項を増やすことにより、保護されたLLMに対して低速トークン生成を誘導することができる。 この意図的な遅延は、LLM開発者がモデルの大規模無許可使用を防止するのに役立つ。 5つのデータセットと3つのLLMアーキテクチャの実証実験により、TaylorMLPは遅延を4倍以上増加させ、トークンが元のLLMと正確に一致することを示した。 その後の防御実験では、TaylorMLPが下流データセットに基づいた重み値の再構築を効果的に防いでいることが確認された。

関連論文リスト

• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Decoding with Limited Teacher Supervision Requires Understanding When to Trust the Teacher [11.136112399898481]
  小規模大規模言語モデル(LLM)は、LLMの監督を効果的に活用して、その生成品質を向上するにはどうすればよいのか? 我々は,初期トークン上でのLLMおよびLLM予測を効果的に集約するアルゴリズムを開発した。 提案手法は,従来の復号法よりも一貫した手法であることを示す。
  論文  参考訳（メタデータ） (2024-06-26T01:16:12Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Label Supervised LLaMA Finetuning [13.939718306233617]
  本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。 最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。 LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
  論文  参考訳（メタデータ） (2023-10-02T13:53:03Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。