論文の概要: UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification

• arxiv url: http://arxiv.org/abs/2410.12318v1
• Date: Wed, 16 Oct 2024 07:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:06.155001
• Title: UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification
• Title（参考訳）: フィンガープリントとしての非拘束トークン : LLM識別への新しいアプローチ
• Authors: Jiacheng Cai, Jiahao Yu, Yangguang Shao, Yuhang Wu, Xinyu Xing,
• Abstract要約: 大型言語モデル(LLM)のフィンガープリントは、モデルのオーナシップの検証、信頼性の確保、誤用防止に不可欠である。 本稿では,未学習トークンを利用したLDMのフィンガープリント手法を提案する。 提案手法は,モデルの性能に最小限のオーバーヘッドと影響があり,対象モデルのオーナシップ識別にホワイトボックスアクセスを必要としない。
• 参考スコア（独自算出の注目度）: 23.164580168870682
• License:
• Abstract: Fingerprinting large language models (LLMs) is essential for verifying model ownership, ensuring authenticity, and preventing misuse. Traditional fingerprinting methods often require significant computational overhead or white-box verification access. In this paper, we introduce UTF, a novel and efficient approach to fingerprinting LLMs by leveraging under-trained tokens. Under-trained tokens are tokens that the model has not fully learned during its training phase. By utilizing these tokens, we perform supervised fine-tuning to embed specific input-output pairs into the model. This process allows the LLM to produce predetermined outputs when presented with certain inputs, effectively embedding a unique fingerprint. Our method has minimal overhead and impact on model's performance, and does not require white-box access to target model's ownership identification. Compared to existing fingerprinting methods, UTF is also more effective and robust to fine-tuning and random guess.
• Abstract（参考訳）: 大型言語モデル(LLM)のフィンガープリントは、モデルのオーナシップの検証、信頼性の確保、誤用防止に不可欠である。 従来のフィンガープリント法は、計算オーバーヘッドやホワイトボックスの検証アクセスを必要とすることが多い。 本稿では,未学習トークンを活用することで,LDMのフィンガープリントを効果的に行うための新しいアプローチであるUTFを紹介する。 アンダートレーニングトークン(Under-trained token)は、トレーニングフェーズ中にモデルが完全に学習されていないトークンである。 これらのトークンを利用することで、特定の入出力ペアをモデルに組み込むための教師付き微調整を行う。 このプロセスにより、LCMは特定の入力が提示されたときに所定の出力を生成し、ユニークな指紋を効果的に埋め込むことができる。 提案手法は,モデルの性能に最小限のオーバーヘッドと影響があり,対象モデルのオーナシップ識別にホワイトボックスアクセスを必要としない。 既存のフィンガープリント法と比較して、UTFはより効果的で、微調整やランダムな推測に頑健である。

関連論文リスト

• FP-VEC: Fingerprinting Large Language Models via Efficient Vector Addition [11.885529039351217]
  FP-VECは,大規模言語モデルにおいて,指紋ベクトルを効率的な指紋認証手法として活用するためのパイロット研究である。 提案手法では,モデルに埋め込まれた秘密署名を表す指紋ベクトルを生成し,同一の指紋を無数のLLMにシームレスに組み込むことができる。 いくつかのLCMの結果から、FP-VECはCPUのみのデバイスで指紋認証を実行し、単一のトレーニングと無制限の指紋認証プロセスでスケーラブルで、モデルの正常な動作を保存することで軽量であることが示された。
  論文  参考訳（メタデータ） (2024-09-13T14:04:39Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Instructional Fingerprinting of Large Language Models [57.72356846657551]
  本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。 11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。 また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
  論文  参考訳（メタデータ） (2024-01-21T09:51:45Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• FBI: Fingerprinting models with Benign Inputs [17.323638042215013]
  本稿では,モデルファミリとその変種の概念を一般化することにより,モデルの大幅な修正に耐性のある指紋認証方式を提案する。 我々は、修正されていない画像である良性入力が、両方のタスクに十分な材料であることを実証することによって、両方の目標を達成する。 どちらのアプローチも、かつてない1000以上のネットワークに対して実験的に検証されている。
  論文  参考訳（メタデータ） (2022-08-05T13:55:36Z)
• Token Dropping for Efficient BERT Pretraining [33.63507016806947]
  本研究では,変圧器モデルの事前学習を高速化する簡易かつ効果的な「トーケンドロップ」手法を開発した。 我々は既に組み込まれているマスキング言語モデリング(MLM)の損失を利用して、計算オーバーヘッドのない重要でないトークンを識別する。 この単純なアプローチは、BERTの事前トレーニングコストを25%削減し、標準の下流タスクで同様の微調整性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T17:50:46Z)
• SignBERT: Pre-Training of Hand-Model-Aware Representation for Sign Language Recognition [94.30084702921529]
  手振りは手話において重要な役割を担っている。 現在の深層学習に基づく手話認識手法は、解釈可能性に欠ける可能性がある。 SLRに先立って手を入れた初の自己教師型事前訓練型SignBERTを導入する。
  論文  参考訳（メタデータ） (2021-10-11T16:18:09Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。