論文の概要: FP-VEC: Fingerprinting Large Language Models via Efficient Vector Addition

• arxiv url: http://arxiv.org/abs/2409.08846v1
• Date: Fri, 13 Sep 2024 14:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 16:19:29.640414
• Title: FP-VEC: Fingerprinting Large Language Models via Efficient Vector Addition
• Title（参考訳）: FP-VEC:効率的なベクトル加算による大規模言語モデルのフィンガープリント
• Authors: Zhenhua Xu, Wenpeng Xing, Zhebo Wang, Chang Hu, Chen Jie, Meng Han,
• Abstract要約: FP-VECは,大規模言語モデルにおいて,指紋ベクトルを効率的な指紋認証手法として活用するためのパイロット研究である。 提案手法では,モデルに埋め込まれた秘密署名を表す指紋ベクトルを生成し,同一の指紋を無数のLLMにシームレスに組み込むことができる。 いくつかのLCMの結果から、FP-VECはCPUのみのデバイスで指紋認証を実行し、単一のトレーニングと無制限の指紋認証プロセスでスケーラブルで、モデルの正常な動作を保存することで軽量であることが示された。
• 参考スコア（独自算出の注目度）: 11.885529039351217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Large Language Models (LLMs) requires immense computational power and vast amounts of data. As a result, protecting the intellectual property of these models through fingerprinting is essential for ownership authentication. While adding fingerprints to LLMs through fine-tuning has been attempted, it remains costly and unscalable. In this paper, we introduce FP-VEC, a pilot study on using fingerprint vectors as an efficient fingerprinting method for LLMs. Our approach generates a fingerprint vector that represents a confidential signature embedded in the model, allowing the same fingerprint to be seamlessly incorporated into an unlimited number of LLMs via vector addition. Results on several LLMs show that FP-VEC is lightweight by running on CPU-only devices for fingerprinting, scalable with a single training and unlimited fingerprinting process, and preserves the model's normal behavior. The project page is available at https://fingerprintvector.github.io .
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練には膨大な計算能力と膨大なデータが必要である。 結果として、これらのモデルの知的特性を指紋認証によって保護することが、所有権認証に不可欠である。 微調整によってLDMに指紋を付加する試みは試みられているが、費用がかかり難いままである。 本稿では,LLMの効率的なフィンガープリント手法として指紋ベクトルを用いたパイロット研究であるFP-VECを紹介する。 提案手法は,モデルに埋め込まれた秘密署名を表す指紋ベクトルを生成する。 いくつかのLCMの結果から、FP-VECはCPUのみのデバイスで指紋認証を実行し、単一のトレーニングと無制限の指紋認証プロセスでスケーラブルで、モデルの正常な動作を保存することで軽量であることが示された。 プロジェクトページはhttps://fingerprintvector.github.io.comで公開されている。

関連論文リスト

• UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification [23.164580168870682]
  大型言語モデル(LLM)のフィンガープリントは、モデルのオーナシップの検証、信頼性の確保、誤用防止に不可欠である。 本稿では,未学習トークンを利用したLDMのフィンガープリント手法を提案する。 提案手法は,モデルの性能に最小限のオーバーヘッドと影響があり,対象モデルのオーナシップ識別にホワイトボックスアクセスを必要としない。
  論文  参考訳（メタデータ） (2024-10-16T07:36:57Z)
• Instructional Fingerprinting of Large Language Models [57.72356846657551]
  本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。 11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。 また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
  論文  参考訳（メタデータ） (2024-01-21T09:51:45Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)
• Robust Retraining-free GAN Fingerprinting via Personalized Normalization [21.63902009635896]
  提案手法は,ParamGen Netsの入力を変更するだけで,異なる指紋をGAN内に埋め込むことができる。 モデルレベルの攻撃と画像レベルの攻撃の両方に対するロバスト性の観点から提案手法の性能は,最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2023-11-09T16:09:12Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• PrintsGAN: Synthetic Fingerprint Generator [39.804969475699345]
  PrintsGANは、特定の指紋に対する複数の印象とともに、ユニークな指紋を生成することができる合成指紋生成装置である。 本研究では,指紋から一定の長さの埋め込みを抽出するために,深層ネットワークをトレーニングしたPrintsGANの有用性を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:25:10Z)
• SignBERT: Pre-Training of Hand-Model-Aware Representation for Sign Language Recognition [94.30084702921529]
  手振りは手話において重要な役割を担っている。 現在の深層学習に基づく手話認識手法は、解釈可能性に欠ける可能性がある。 SLRに先立って手を入れた初の自己教師型事前訓練型SignBERTを導入する。
  論文  参考訳（メタデータ） (2021-10-11T16:18:09Z)
• Responsible Disclosure of Generative Models Using Scalable Fingerprinting [70.81987741132451]
  深層生成モデルは質的に新しいパフォーマンスレベルを達成した。 この技術がスプーフセンサーに誤用され、ディープフェイクを発生させ、大規模な誤情報を可能にするという懸念がある。 最先端のジェネレーションモデルを責任を持って公開することで、研究者や企業がモデルに指紋を刻むことができます。
  論文  参考訳（メタデータ） (2020-12-16T03:51:54Z)
• Latent Fingerprint Registration via Matching Densely Sampled Points [100.53031290339483]
  既存の潜伏指紋登録手法は、主にミツバチ間の対応を確立することに基づいている。 本研究では,一対の指紋間の空間的変換を推定する,最小限の潜伏指紋登録手法を提案する。 提案手法は,特に挑戦的な条件下で,最先端の登録性能を実現する。
  論文  参考訳（メタデータ） (2020-05-12T15:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。