論文の概要: From Evaluation to Defense: Constructing Persistent Edit-Based Fingerprints for Large Language Models
- arxiv url: http://arxiv.org/abs/2509.03122v1
- Date: Wed, 03 Sep 2025 08:22:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.460518
- Title: From Evaluation to Defense: Constructing Persistent Edit-Based Fingerprints for Large Language Models
- Title(参考訳): 評価から防衛へ:大規模言語モデルのための永続的な編集ベースフィンガープリントの構築
- Authors: Yue Li, Xin Yi, Dongsheng Shi, Yongyi Cui, Gerard de Melo, Xiaoling Wang, Linlin Wang,
- Abstract要約: 命令チューニングを通じてLLM(Large Language Models)に特殊な指紋を注入することは、一般的なIP保護技術である。
我々は知識編集が指紋注入に適した軽量な代替手段であると主張している。
指紋サブスペースの更新を制限することにより,指紋の劣化を低減するFingerprint Subspace-aware Fine-Tuning (FSFT)を提案する。
- 参考スコア(独自算出の注目度): 40.79429403341075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The intellectual property (IP) protection of Large Language Models (LLMs) is increasingly critical. Injecting specialized fingerprints into LLMs through instruction tuning is a common IP protection technique. However, this may significantly degrade model performance, requires substantial computational resources, and exhibits poor persistence under model modifications. We argue that knowledge editing offers a lightweight alternative that is more suitable for fingerprint injection. Accordingly, we apply knowledge editing to fingerprint injection for the first time and demonstrate its strong capability. Despite using scrambled text as fingerprints to prevent them from being overwritten during fine-tuning, degradation still occurs under large-scale fine-tuning. To address this, we propose Fingerprint Subspace-aware Fine-Tuning (FSFT), which reduces fingerprint degradation by constraining the update of the fingerprint subspace. The performance of FSFT exceeds fine-tuning by 10% even in the worst-case scenario. Additionally, we observe that the fingerprint-injected models struggle to distinguish between fingerprints and similar texts due to the high similarity of their features. This finding underscores the urgent need for more robust and fine-grained fingerprinting injection methods for LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)の知的財産権(IP)保護はますます重要になっている。
命令チューニングによる特殊な指紋をLLMに注入することは、一般的なIP保護技術である。
しかし、これはモデル性能を著しく低下させ、かなりの計算資源を必要とし、モデル修正の下では持続性が低いことを示す。
我々は知識編集が指紋注入に適した軽量な代替手段であると主張している。
そこで本研究では,指紋注入における知識編集を初めて適用し,その強みを実証する。
スクランブルテキストを指紋として用いて、微調整中に上書きされてしまうのを防ぐが、大規模な微調整では依然として劣化が発生する。
そこで本研究では,指紋サブスペースの更新を制限することにより,指紋の劣化を低減するFingerprint Subspace-aware Fine-Tuning (FSFT)を提案する。
FSFTの性能は最悪の場合であっても微調整を10%以上上回る。
さらに,指紋を注入したモデルでは,特徴の類似性が高いため,指紋と類似したテキストの識別に苦慮している。
この発見は、LSMのより堅牢できめ細かい指紋注入法の必要性を浮き彫りにしている。
関連論文リスト
- ImF: Implicit Fingerprint for Large Language Models [14.580290415247385]
我々は,ジェネレーション・リビジョン・インターベンション(GRI)攻撃という新たな敵攻撃を導入する。
GRIは、現在のフィンガープリント手法のセマンティックな脆弱性を利用して、事実上指紋を消去する。
Inlicit Fingerprints (ImF) と呼ばれる新しいモデル指紋パラダイムを提案する。
論文 参考訳(メタデータ) (2025-03-25T05:47:34Z) - Scalable Fingerprinting of Large Language Models [46.26999419117367]
我々はPerinucleus sampleと呼ばれる新しい手法を導入し、スケーラブルで永続的で無害な指紋を生成する。
この手法により,Llama-3.1-8Bモデルに24,576個の指紋を付加できることを示した。
論文 参考訳(メタデータ) (2025-02-11T18:43:07Z) - Fingerprint Vector: Enabling Scalable and Efficient Model Fingerprint Transfer via Vector Addition [23.282821424581]
我々はフィンガープリントベクトルと呼ばれる新しいメカニズムを提案する。
指紋をバックドアベースの微調整でベースモデルに埋め込み、タスク固有のパラメータデルタを指紋ベクトルとして抽出する。
キーデシダラタにまたがる直接注入に匹敵する、あるいは優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-09-13T14:04:39Z) - Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique [2.7174461714624805]
大規模言語モデル(LLM)の盗難や誤用に対する懸念が高まり、効果的な指紋認証の必要性が高まっている。
指紋の透明性、効率性、永続性、ロバスト性、非偽造性という5つの重要な特性を定義します。
我々は,指紋の完全性を維持しつつ,認証された所有権の証明を提供する新しい指紋認証フレームワークを導入する。
論文 参考訳(メタデータ) (2024-07-15T16:38:56Z) - Instructional Fingerprinting of Large Language Models [57.72356846657551]
本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。
11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。
また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
論文 参考訳(メタデータ) (2024-01-21T09:51:45Z) - Hierarchical Perceptual Noise Injection for Social Media Fingerprint
Privacy Protection [106.5308793283895]
ソーシャルメディアからの指紋漏洩は 画像を匿名化したいという強い欲求を喚起します
指紋漏洩を保護するために、画像に知覚不能な摂動を加えることにより、敵攻撃が解決策として現れる。
この問題を解決するために,階層型パーセプティカルノイズ注入フレームワークであるFingerSafeを提案する。
論文 参考訳(メタデータ) (2022-08-23T02:20:46Z) - Latent Fingerprint Registration via Matching Densely Sampled Points [100.53031290339483]
既存の潜伏指紋登録手法は、主にミツバチ間の対応を確立することに基づいている。
本研究では,一対の指紋間の空間的変換を推定する,最小限の潜伏指紋登録手法を提案する。
提案手法は,特に挑戦的な条件下で,最先端の登録性能を実現する。
論文 参考訳(メタデータ) (2020-05-12T15:51:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。