論文の概要: Instructional Fingerprinting of Large Language Models
- arxiv url: http://arxiv.org/abs/2401.12255v1
- Date: Sun, 21 Jan 2024 09:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 17:54:13.625236
- Title: Instructional Fingerprinting of Large Language Models
- Title(参考訳): 大規模言語モデルのインストラクションフィンガープリント
- Authors: Jiashu Xu, Fei Wang, Mingyu Derek Ma, Pang Wei Koh, Chaowei Xiao,
Muhao Chen
- Abstract要約: 本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。
11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。
また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
- 参考スコア(独自算出の注目度): 61.16480641024264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The exorbitant cost of training Large language models (LLMs) from scratch
makes it essential to fingerprint the models to protect intellectual property
via ownership authentication and to ensure downstream users and developers
comply with their license terms (e.g. restricting commercial use). In this
study, we present a pilot study on LLM fingerprinting as a form of very
lightweight instruction tuning. Model publisher specifies a confidential
private key and implants it as an instruction backdoor that causes the LLM to
generate specific text when the key is present. Results on 11 popularly-used
LLMs showed that this approach is lightweight and does not affect the normal
behavior of the model. It also prevents publisher overclaim, maintains
robustness against fingerprint guessing and parameter-efficient training, and
supports multi-stage fingerprinting akin to MIT License. Code is available in
https://cnut1648.github.io/Model-Fingerprint/.
- Abstract(参考訳): 大規模言語モデル(LLM)をスクラッチからトレーニングする余分なコストは、オーナーシップ認証を通じて知的財産を保護するためにモデルをフィンガープリントし、下流のユーザや開発者がライセンス条件(商業利用の制限など)に準拠するようにすることが不可欠である。
本研究では,非常に軽量な命令チューニングの一形態として,llmフィンガープリンティングに関するパイロット研究を行う。
モデルパブリッシャは秘密の秘密鍵を特定し、鍵が存在するときにllmが特定のテキストを生成する命令バックドアとして埋め込む。
11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。
また、パブリッシャーの誇張を防ぎ、指紋推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
コードはhttps://cnut1648.github.io/Model-Fingerprint/で入手できる。
関連論文リスト
- JAMDEC: Unsupervised Authorship Obfuscation using Constrained Decoding
over Small Language Models [53.83273575102087]
著者の難読化に対する教師なし推論時間アプローチを提案する。
本稿では,著者難読化のためのユーザ制御推論時間アルゴリズムであるJAMDECを紹介する。
提案手法は,GPT2-XL などの小型言語モデルに基づいて,オリジナルコンテンツをプロプライエタリな LLM の API に公開するのを防ぐ。
論文 参考訳(メタデータ) (2024-02-13T19:54:29Z) - EncryIP: A Practical Encryption-Based Framework for Model Intellectual
Property Protection [17.655627250882805]
本稿では,TextitEncryIPという,実用的な暗号化ベースのフレームワークを紹介する。
公開鍵暗号スキームをモデル学習プロセスにシームレスに統合する。
これは、トレーニングされた保護されたモデルと、許可されていないMLモデルの拡散を効率的に検出する双方において、優れた効果を示す。
論文 参考訳(メタデータ) (2023-12-19T11:11:03Z) - Human-Readable Fingerprint for Large Language Models [47.952699246648045]
大型言語モデル(LLM)のための人間可読指紋を導入する。
本手法は,LLMの識別指紋として犬画像を生成し,その外見はLLMのベースモデルを強く表している。
論文 参考訳(メタデータ) (2023-12-08T05:01:47Z) - Robust Retraining-free GAN Fingerprinting via Personalized Normalization [21.63902009635896]
提案手法は,ParamGen Netsの入力を変更するだけで,異なる指紋をGAN内に埋め込むことができる。
モデルレベルの攻撃と画像レベルの攻撃の両方に対するロバスト性の観点から提案手法の性能は,最先端技術よりも優れている。
論文 参考訳(メタデータ) (2023-11-09T16:09:12Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Are You Copying My Model? Protecting the Copyright of Large Language
Models for EaaS via Backdoor Watermark [58.60940048748815]
企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。
Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。
埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T08:28:54Z) - Training Natural Language Processing Models on Encrypted Text for
Enhanced Privacy [0.0]
本研究では,暗号化されたテキストデータを用いたNLPモデルのトレーニング手法を提案する。
以上の結果から,暗号化モデルと非暗号化モデルの両方が同等の性能を発揮することが示唆された。
論文 参考訳(メタデータ) (2023-05-03T00:37:06Z) - Watermarking Pre-trained Language Models with Backdooring [118.14981787949199]
PLMは、所有者が定義した特定の入力によって引き起こされるバックドアを埋め込むことにより、マルチタスク学習フレームワークで透かしが可能であることを示す。
また,いくつかの稀な単語をトリガーとして用いることに加えて,一般的な単語の組み合わせをバックドアトリガーとして用いることで,検出が容易でないことを示す。
論文 参考訳(メタデータ) (2022-10-14T05:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。