論文の概要: ProFLingo: A Fingerprinting-based Copyright Protection Scheme for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.02466v1
• Date: Fri, 3 May 2024 20:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:50:15.819797
• Title: ProFLingo: A Fingerprinting-based Copyright Protection Scheme for Large Language Models
• Title（参考訳）: ProFLingo: 大規模言語モデルのためのフィンガープリントに基づく著作権保護スキーム
• Authors: Heng Jin, Chaoyu Zhang, Shanghao Shi, Wenjing Lou, Y. Thomas Hou,
• Abstract要約: 本稿では,大規模な言語モデルを対象としたブラックボックス指紋認証に基づく著作権保護スキームProFLingoを提案する。 本手法は,疑似モデルにおける逆例の有効性を検証し,元モデルから派生したものかどうかを判定する。
• 参考スコア（独自算出の注目度）: 18.46904928949022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have attracted significant attention in recent years. Due to their "Large" nature, training LLMs from scratch consumes immense computational resources. Since several major players in the artificial intelligence (AI) field have open-sourced their original LLMs, an increasing number of individual researchers and smaller companies are able to build derivative LLMs based on these open-sourced models at much lower costs. However, this practice opens up possibilities for unauthorized use or reproduction that may not comply with licensing agreements, and deriving models can change the model's behavior, thus complicating the determination of model ownership. Current copyright protection schemes for LLMs are either designed for white-box settings or require additional modifications to the original model, which restricts their use in real-world settings. In this paper, we propose ProFLingo, a black-box fingerprinting-based copyright protection scheme for LLMs. ProFLingo generates adversarial examples (AEs) that can represent the unique decision boundary characteristics of an original model, thereby establishing unique fingerprints. Our scheme checks the effectiveness of these adversarial examples on a suspect model to determine whether it has been derived from the original model. ProFLingo offers a non-invasive approach, which neither requires knowledge of the suspect model nor modifications to the base model or its training process. To the best of our knowledge, our method represents the first black-box fingerprinting technique for copyright protection for LLMs. Our source code and generated AEs are available at: https://github.com/hengvt/ProFLingo_arXiv.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) が注目されている。 その「大きな」性質のため、スクラッチからLLMを訓練することは膨大な計算資源を消費する。 人工知能(AI)分野のいくつかの主要プレーヤーが独自のLLMをオープンソースにしているため、多くの個人研究者や小規模企業が、これらのオープンソースモデルに基づいて、はるかに低コストで派生LLMを構築できるようになっている。 しかし、この慣行は、ライセンス契約に従わない無許可の使用や再生の可能性を広げ、モデルの導出はモデルの振る舞いを変えることができ、モデルの所有権の決定を複雑にする。 LLMの現行の著作権保護スキームは、ホワイトボックスの設定のために設計されたか、または実際の設定での使用を制限するオリジナルのモデルに追加の修正を必要とする。 本稿では,LLMのブラックボックス指紋認証に基づく著作権保護方式であるProFLingoを提案する。 ProFLingoは、元のモデルの独特な決定境界特性を表すことができる逆例(AE)を生成し、ユニークな指紋を確立する。 提案手法は,疑似モデルにおけるこれらの逆例の有効性を検証し,元モデルから派生したものかどうかを判定する。 ProFLingoは非侵襲的なアプローチを提供しており、疑似モデルに関する知識もベースモデルやトレーニングプロセスの変更も必要としない。 我々の知る限り、本手法はLLMの著作権保護のための最初のブラックボックス指紋認証技術である。 私たちのソースコードと生成されたAEは、https://github.com/hengvt/ProFLingo_arXiv.comで利用可能です。

関連論文リスト

• REEF: Representation Encoding Fingerprints for Large Language Models [53.679712605506715]
  REEFは、被疑者モデルと被害者モデルの表現との中心となるカーネルアライメントの類似性を計算し、比較する。 このトレーニング不要のREEFは、モデルの一般的な能力を損なうことなく、シーケンシャルな微調整、プルーニング、モデルマージ、置換に堅牢である。
  論文  参考訳（メタデータ） (2024-10-18T08:27:02Z)
• A Fingerprint for Large Language Models [10.63985246068255]
  大規模言語モデル(LLM)のための新しいブラックボックスフィンガープリント手法を提案する。 実験結果から,提案手法はPEFT攻撃に対するオーナシップ検証とロバスト性において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-07-01T12:25:42Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Instructional Fingerprinting of Large Language Models [57.72356846657551]
  本稿では,非常に軽量なインストラクションチューニングの一形態として,Large Language Model (LLM) の指紋認証に関する実験的検討を行う。 11個の LLM 実験の結果,このアプローチは軽量であり,モデルの正常な挙動には影響しないことがわかった。 また、パブリッシャーの誇張を防ぎ、指紋の推測やパラメータ効率のトレーニングに対する堅牢性を維持し、MITライセンスのような多段階の指紋認証をサポートする。
  論文  参考訳（メタデータ） (2024-01-21T09:51:45Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。