論文の概要: Instructional Fingerprinting of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.12255v2
• Date: Wed, 3 Apr 2024 06:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 22:17:46.273806
• Title: Instructional Fingerprinting of Large Language Models
• Title（参考訳）: 大規模言語モデルのインストラクショナルフィンガープリント
• Authors: Jiashu Xu, Fei Wang, Mingyu Derek Ma, Pang Wei Koh, Chaowei Xiao, Muhao Chen,
• Abstract要約: 本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。 11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。 また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
• 参考スコア（独自算出の注目度）: 57.72356846657551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The exorbitant cost of training Large language models (LLMs) from scratch makes it essential to fingerprint the models to protect intellectual property via ownership authentication and to ensure downstream users and developers comply with their license terms (e.g. restricting commercial use). In this study, we present a pilot study on LLM fingerprinting as a form of very lightweight instruction tuning. Model publisher specifies a confidential private key and implants it as an instruction backdoor that causes the LLM to generate specific text when the key is present. Results on 11 popularly-used LLMs showed that this approach is lightweight and does not affect the normal behavior of the model. It also prevents publisher overclaim, maintains robustness against fingerprint guessing and parameter-efficient training, and supports multi-stage fingerprinting akin to MIT License. Code is available in https://cnut1648.github.io/Model-Fingerprint/.
• Abstract（参考訳）: 大規模言語モデル(LLM)をスクラッチからトレーニングする余分なコストは、オーナーシップ認証を通じて知的財産を保護するためにモデルをフィンガープリントし、下流のユーザや開発者がライセンス条件に準拠すること(商用使用を制限することなど)が不可欠である。 本研究では,LLMフィンガープリントを非常に軽量なインストラクションチューニングの一形態として提案する。 モデルパブリッシャは秘密の秘密鍵を指定し、それを命令バックドアとして埋め込む。 11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。 また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。 コードはhttps://cnut1648.github.io/Model-Fingerprint/で入手できる。

関連論文リスト

• REEF: Representation Encoding Fingerprints for Large Language Models [53.679712605506715]
  REEFは、被疑者モデルと被害者モデルの表現との中心となるカーネルアライメントの類似性を計算し、比較する。 このトレーニング不要のREEFは、モデルの一般的な能力を損なうことなく、シーケンシャルな微調整、プルーニング、モデルマージ、置換に堅牢である。
  論文  参考訳（メタデータ） (2024-10-18T08:27:02Z)
• UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification [23.164580168870682]
  大型言語モデル(LLM)のフィンガープリントは、モデルのオーナシップの検証、信頼性の確保、誤用防止に不可欠である。 本稿では,未学習トークンを利用したLDMのフィンガープリント手法を提案する。 提案手法は,モデルの性能に最小限のオーバーヘッドと影響があり,対象モデルのオーナシップ識別にホワイトボックスアクセスを必要としない。
  論文  参考訳（メタデータ） (2024-10-16T07:36:57Z)
• MergePrint: Robust Fingerprinting against Merging Large Language Models [1.9249287163937978]
  本稿では,モデルマージ後の所有権主張を保存すべく,頑健な指紋を埋め込んだ新しい指紋認証手法MergePrintを提案する。 擬似マージモデルに最適化することで、マージ後も検出可能な指紋を生成する。 このアプローチは、モデルマージによる誤適用の場合のオーナシップを主張するために、実用的なフィンガープリント戦略を提供する。
  論文  参考訳（メタデータ） (2024-10-11T08:00:49Z)
• FP-VEC: Fingerprinting Large Language Models via Efficient Vector Addition [11.885529039351217]
  FP-VECは,大規模言語モデルにおいて,指紋ベクトルを効率的な指紋認証手法として活用するためのパイロット研究である。 提案手法では,モデルに埋め込まれた秘密署名を表す指紋ベクトルを生成し,同一の指紋を無数のLLMにシームレスに組み込むことができる。 いくつかのLCMの結果から、FP-VECはCPUのみのデバイスで指紋認証を実行し、単一のトレーニングと無制限の指紋認証プロセスでスケーラブルで、モデルの正常な動作を保存することで軽量であることが示された。
  論文  参考訳（メタデータ） (2024-09-13T14:04:39Z)
• ProFLingo: A Fingerprinting-based Intellectual Property Protection Scheme for Large Language Models [18.46904928949022]
  大規模言語モデル(LLM)のためのブラックボックス指紋認証に基づくIP保護スキームProFLingoを提案する。 ProFLingoは、オリジナルのモデルから特定の応答を引き出すクエリを生成し、ユニークな指紋を確立する。 提案手法は,疑似モデルにおけるこれらのクエリの有効性を評価し,元のモデルから派生したものかどうかを判断する。
  論文  参考訳（メタデータ） (2024-05-03T20:00:40Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)
• Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark [58.60940048748815]
  企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。 Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。 埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:28:54Z)
• Toward a Theory of Causation for Interpreting Neural Code Models [49.906221295459275]
  本稿では,ニューラルコードモデル(NCM)に特化したポストホック解釈法である$do_code$を紹介する。 $do_code$は、言語指向の説明を可能にする因果推論に基づいている。 その結果,NCMはコード構文の変化に敏感であることが判明した。
  論文  参考訳（メタデータ） (2023-02-07T22:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。