論文の概要: Learning to Watermark LLM-generated Text via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2403.10553v1
• Date: Wed, 13 Mar 2024 03:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 23:05:08.908294
• Title: Learning to Watermark LLM-generated Text via Reinforcement Learning
• Title（参考訳）: 強化学習によるLLM生成テキストの透かし学習
• Authors: Xiaojun Xu, Yuanshun Yao, Yang Liu,
• Abstract要約: 誤用追跡のためのLCM出力の透かしについて検討する。 出力に信号を埋め込むモデルレベルの透かしを設計する。 強化学習に基づく協調学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.61005372279407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how to watermark LLM outputs, i.e. embedding algorithmically detectable signals into LLM-generated text to track misuse. Unlike the current mainstream methods that work with a fixed LLM, we expand the watermark design space by including the LLM tuning stage in the watermark pipeline. While prior works focus on token-level watermark that embeds signals into the output, we design a model-level watermark that embeds signals into the LLM weights, and such signals can be detected by a paired detector. We propose a co-training framework based on reinforcement learning that iteratively (1) trains a detector to detect the generated watermarked text and (2) tunes the LLM to generate text easily detectable by the detector while keeping its normal utility. We empirically show that our watermarks are more accurate, robust, and adaptable (to new attacks). It also allows watermarked model open-sourcing. In addition, if used together with alignment, the extra overhead introduced is low - only training an extra reward model (i.e. our detector). We hope our work can bring more effort into studying a broader watermark design that is not limited to working with a fixed LLM. We open-source the code: https://github.com/xiaojunxu/learning-to-watermark-llm .
• Abstract（参考訳）: LLM出力のウォーターマーク、すなわちアルゴリズムで検出可能な信号をLLM生成テキストに埋め込んで誤用を追跡する方法について検討する。 固定LLMで動作する現在の主流手法とは異なり、ウォーターマークパイプラインにLLMチューニングステージを組み込むことで、ウォーターマーク設計空間を拡大する。 先行研究は、出力に信号を埋め込むトークンレベルの透かしに焦点を当てていたが、LLM重みに信号を埋め込むモデルレベルの透かしを設計し、そのような信号はペア検出器で検出できる。 筆者らは,(1) 検知器が生成した透かしテキストを検出することを反復的に訓練し,(2) 検出器で検出可能なテキストを正常な実用性を維持しつつ,LLMに調整する,強化学習に基づく協調学習フレームワークを提案する。 私たちの透かしがより正確で、堅牢で、(新たな攻撃に対して)適応可能であることを実証的に示しています。 また、ウォーターマークされたモデルのオープンソース化も可能である。 さらに、アライメントと一緒に使用する場合、導入される余分なオーバーヘッドは低く、追加の報酬モデル(つまり検出器)をトレーニングするのみである。 我々の研究が、固定LLMでの作業に限らず、より広範な透かしデザインの研究により多くの労力をもたらすことを期待しています。 コードをオープンソースにしています。

関連論文リスト

• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Waterfall: Framework for Robust and Scalable Text Watermarking and Provenance for LLMs [36.068335914828396]
  我々は、堅牢でスケーラブルなテキスト透かしのための最初のトレーニング不要のフレームワークであるWaterfallを提案する。 ウォーターフォールは、SOTAの記事テキストによるウォーターマーキング法と比較して、スケーラビリティ、堅牢な検証可能性、計算効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-07-05T10:51:33Z)
• PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
  モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。 PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。 PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:27:14Z)
• MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
  MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。 評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2024-05-16T12:40:01Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。