論文の概要: Instructional Fingerprinting of Large Language Models
- arxiv url: http://arxiv.org/abs/2401.12255v2
- Date: Wed, 3 Apr 2024 06:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 22:17:46.273806
- Title: Instructional Fingerprinting of Large Language Models
- Title(参考訳): 大規模言語モデルのインストラクショナルフィンガープリント
- Authors: Jiashu Xu, Fei Wang, Mingyu Derek Ma, Pang Wei Koh, Chaowei Xiao, Muhao Chen,
- Abstract要約: 本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。
11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。
また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
- 参考スコア(独自算出の注目度): 57.72356846657551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The exorbitant cost of training Large language models (LLMs) from scratch makes it essential to fingerprint the models to protect intellectual property via ownership authentication and to ensure downstream users and developers comply with their license terms (e.g. restricting commercial use). In this study, we present a pilot study on LLM fingerprinting as a form of very lightweight instruction tuning. Model publisher specifies a confidential private key and implants it as an instruction backdoor that causes the LLM to generate specific text when the key is present. Results on 11 popularly-used LLMs showed that this approach is lightweight and does not affect the normal behavior of the model. It also prevents publisher overclaim, maintains robustness against fingerprint guessing and parameter-efficient training, and supports multi-stage fingerprinting akin to MIT License. Code is available in https://cnut1648.github.io/Model-Fingerprint/.
- Abstract(参考訳): 大規模言語モデル(LLM)をスクラッチからトレーニングする余分なコストは、オーナーシップ認証を通じて知的財産を保護するためにモデルをフィンガープリントし、下流のユーザや開発者がライセンス条件に準拠すること(商用使用を制限することなど)が不可欠である。
本研究では,LLMフィンガープリントを非常に軽量なインストラクションチューニングの一形態として提案する。
モデルパブリッシャは秘密の秘密鍵を指定し、それを命令バックドアとして埋め込む。
11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。
また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
コードはhttps://cnut1648.github.io/Model-Fingerprint/で入手できる。
関連論文リスト
- ProFLingo: A Fingerprinting-based Copyright Protection Scheme for Large Language Models [18.46904928949022]
本稿では,大規模な言語モデルを対象としたブラックボックス指紋認証に基づく著作権保護スキームProFLingoを提案する。
本手法は,疑似モデルにおける逆例の有効性を検証し,元モデルから派生したものかどうかを判定する。
論文 参考訳(メタデータ) (2024-05-03T20:00:40Z) - Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。
ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。
本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
論文 参考訳(メタデータ) (2024-04-23T15:49:37Z) - EncryIP: A Practical Encryption-Based Framework for Model Intellectual
Property Protection [17.655627250882805]
本稿では,TextitEncryIPという,実用的な暗号化ベースのフレームワークを紹介する。
公開鍵暗号スキームをモデル学習プロセスにシームレスに統合する。
これは、トレーニングされた保護されたモデルと、許可されていないMLモデルの拡散を効率的に検出する双方において、優れた効果を示す。
論文 参考訳(メタデータ) (2023-12-19T11:11:03Z) - Human-Readable Fingerprint for Large Language Models [47.952699246648045]
大型言語モデル(LLM)のための人間可読指紋を導入する。
本手法は,LLMの識別指紋として犬画像を生成し,その外見はLLMのベースモデルを強く表している。
論文 参考訳(メタデータ) (2023-12-08T05:01:47Z) - Robust Retraining-free GAN Fingerprinting via Personalized Normalization [21.63902009635896]
提案手法は,ParamGen Netsの入力を変更するだけで,異なる指紋をGAN内に埋め込むことができる。
モデルレベルの攻撃と画像レベルの攻撃の両方に対するロバスト性の観点から提案手法の性能は,最先端技術よりも優れている。
論文 参考訳(メタデータ) (2023-11-09T16:09:12Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Are You Copying My Model? Protecting the Copyright of Large Language
Models for EaaS via Backdoor Watermark [58.60940048748815]
企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。
Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。
埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T08:28:54Z) - Training Natural Language Processing Models on Encrypted Text for
Enhanced Privacy [0.0]
本研究では,暗号化されたテキストデータを用いたNLPモデルのトレーニング手法を提案する。
以上の結果から,暗号化モデルと非暗号化モデルの両方が同等の性能を発揮することが示唆された。
論文 参考訳(メタデータ) (2023-05-03T00:37:06Z) - Toward a Theory of Causation for Interpreting Neural Code Models [49.906221295459275]
本稿では,ニューラルコードモデル(NCM)に特化したポストホック解釈法である$do_code$を紹介する。
$do_code$は、言語指向の説明を可能にする因果推論に基づいている。
その結果,NCMはコード構文の変化に敏感であることが判明した。
論文 参考訳(メタデータ) (2023-02-07T22:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。