論文の概要: Mark Your LLM: Detecting the Misuse of Open-Source Large Language Models via Watermarking

• arxiv url: http://arxiv.org/abs/2503.04636v1
• Date: Thu, 06 Mar 2025 17:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:58.044606
• Title: Mark Your LLM: Detecting the Misuse of Open-Source Large Language Models via Watermarking
• Title（参考訳）: Mark Your LLM: ウォーターマーキングによるオープンソースの大規模言語モデルの誤用の検出
• Authors: Yijie Xu, Aiwei Liu, Xuming Hu, Lijie Wen, Hui Xiong,
• Abstract要約: 本研究は,オープンソースの大規模言語モデル(LLM)における2つの誤用シナリオを定義する。 本稿では,これらの文脈における推論時透かし蒸留とバックドア透かしの適用について検討する。 実験の結果, 後方透かしはIP Violationを効果的に検出でき, 推論時透かし蒸留はどちらのシナリオにも適用可能であることがわかった。
• 参考スコア（独自算出の注目度）: 40.951792492059646
• License:
• Abstract: As open-source large language models (LLMs) like Llama3 become more capable, it is crucial to develop watermarking techniques to detect their potential misuse. Existing watermarking methods either add watermarks during LLM inference, which is unsuitable for open-source LLMs, or primarily target classification LLMs rather than recent generative LLMs. Adapting these watermarks to open-source LLMs for misuse detection remains an open challenge. This work defines two misuse scenarios for open-source LLMs: intellectual property (IP) violation and LLM Usage Violation. Then, we explore the application of inference-time watermark distillation and backdoor watermarking in these contexts. We propose comprehensive evaluation methods to assess the impact of various real-world further fine-tuning scenarios on watermarks and the effect of these watermarks on LLM performance. Our experiments reveal that backdoor watermarking could effectively detect IP Violation, while inference-time watermark distillation is applicable in both scenarios but less robust to further fine-tuning and has a more significant impact on LLM performance compared to backdoor watermarking. Exploring more advanced watermarking methods for open-source LLMs to detect their misuse should be an important future direction.
• Abstract（参考訳）: Llama3のようなオープンソースの大規模言語モデル(LLM)がより有能になるにつれて、その潜在的な誤用を検出するための透かし技術を開発することが不可欠である。 既存の透かし法では、LLM推論中に透かしを追加するが、これはオープンソースのLCMには適さない。 誤用検出のためにこれらの透かしをオープンソースLLMに適用することは、未解決の課題である。 本研究は,知的財産権侵害 (IP) と LLM 利用違反 (Lsage Violation) という,オープンソース LLM の2つの誤用シナリオを定義する。 次に,これらの文脈における推論時透かし蒸留とバックドア透かしの適用について検討する。 実世界の様々な微調整シナリオが透かしに与える影響とそれらの透かしがLLM性能に与える影響を評価するための総合評価手法を提案する。 提案実験により, 後方透かしはIP Violationを効果的に検出できるのに対し, 推論時透かし蒸留はどちらのシナリオにも適用可能であるが, さらなる微調整には堅牢性は低く, 後方透かしよりもLLM性能に有意な影響を及ぼすことがわかった。 オープンソースのLCMのためのより高度な透かし手法を探索し、その誤用を検出することは、今後の重要な方向である。

関連論文リスト

• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
  著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。 我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。 透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T16:53:09Z)
• Waterfall: Framework for Robust and Scalable Text Watermarking and Provenance for LLMs [36.068335914828396]
  我々は、堅牢でスケーラブルなテキスト透かしのための最初のトレーニング不要のフレームワークであるWaterfallを提案する。 ウォーターフォールは、SOTAの記事テキストによるウォーターマーキング法と比較して、スケーラビリティ、堅牢な検証可能性、計算効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-07-05T10:51:33Z)
• Black-Box Detection of Language Model Watermarks [1.9374282535132377]
  我々は,3つの人気のある透かしスキームファミリーのパラメータを検出し,推定するための厳密な統計試験を開発した。 提案手法の有効性を,多種多様なオープンソースモデルを用いて実験的に検証した。 以上の結果から,現在の透かし方式は従来考えられていたよりも検出可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T08:41:30Z)
• MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
  MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。 評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2024-05-16T12:40:01Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。