論文の概要: Watermarking LLMs with Weight Quantization

• arxiv url: http://arxiv.org/abs/2310.11237v1
• Date: Tue, 17 Oct 2023 13:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 15:49:32.471209
• Title: Watermarking LLMs with Weight Quantization
• Title（参考訳）: 軽量量子化による透かしLDM
• Authors: Linyang Li, Botian Jiang, Pengyu Wang, Ke Ren, Hang Yan, Xipeng Qiu
• Abstract要約: 本稿では,大規模言語モデルの量子化過程に透かしを植え付ける新しい透かし戦略を提案する。 GPT-Neo や LLaMA など,オープンソースの大規模言語モデルに透かしを組み込むことに成功した。
• 参考スコア（独自算出の注目度）: 61.63899115699713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abuse of large language models reveals high risks as large language models are being deployed at an astonishing speed. It is important to protect the model weights to avoid malicious usage that violates licenses of open-source large language models. This paper proposes a novel watermarking strategy that plants watermarks in the quantization process of large language models without pre-defined triggers during inference. The watermark works when the model is used in the fp32 mode and remains hidden when the model is quantized to int8, in this way, the users can only inference the model without further supervised fine-tuning of the model. We successfully plant the watermark into open-source large language model weights including GPT-Neo and LLaMA. We hope our proposed method can provide a potential direction for protecting model weights in the era of large language model applications.
• Abstract（参考訳）: 大きな言語モデルの使用は、大きな言語モデルが驚くべきスピードでデプロイされているため、高いリスクを明らかにします。 オープンソースの大規模言語モデルのライセンスに違反する悪質な使用を避けるために、モデル重みを守ることが重要である。 本稿では,推論中に事前定義されたトリガーを使わずに,大規模言語モデルの量子化過程に透かしを植え込む新しい透かし戦略を提案する。 ウォーターマークは、モデルがfp32モードで使用され、モデルが int8 に量子化されると隠されたままであるときに機能する。 GPT-Neo や LLaMA など,オープンソースの大規模言語モデルに透かしを組み込むことに成功した。 提案手法は,大規模言語モデルアプリケーションの時代において,モデル重みを保護できる可能性を秘めている。

関連論文リスト

• WAPITI: A Watermark for Finetuned Open-Source LLMs [42.1087852764299]
  WAPITIはパラメータ統合によってベースモデルから微調整モデルに透かしを転送する新しい手法である。 提案手法は,透かしの注入に成功し,微調整モデルとの互換性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-09T01:41:14Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)
• Removing Backdoor-Based Watermarks in Neural Networks with Limited Data [26.050649487499626]
  ディープモデルの取引は、今日では非常に需要が高く、利益を上げている。 ナイーブ・トレーディング・スキームは 一般的に 著作権と信頼性の問題に関連する 潜在的なリスクを伴います WILDと呼ばれる限られたデータを用いたバックドア型透かし除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-02T06:25:26Z)
• Model Watermarking for Image Processing Networks [120.918532981871]
  深層モデルの知的財産権を保護する方法は、非常に重要であるが、真に研究されていない問題である。 画像処理モデルを保護するための最初のモデル透かしフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T18:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。