論文の概要: Towards Codable Text Watermarking for Large Language Models
- arxiv url: http://arxiv.org/abs/2307.15992v1
- Date: Sat, 29 Jul 2023 14:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 18:15:12.111400
- Title: Towards Codable Text Watermarking for Large Language Models
- Title(参考訳): 大規模言語モデルのためのコーディブルテキスト透かしに向けて
- Authors: Lean Wang, Wenkai Yang, Deli Chen, Hao Zhou, Yankai Lin, Fandong Meng,
Jie Zhou, Xu Sun
- Abstract要約: 大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
- 参考スコア(独自算出の注目度): 67.1919633229568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) generate texts with increasing fluency and
realism, there is a growing need to identify the source of texts to prevent the
abuse of LLMs. Text watermarking techniques have proven reliable in
distinguishing whether a text is generated by LLMs by injecting hidden patterns
into the generated texts. However, we argue that existing watermarking methods
for LLMs are encoding-inefficient (only contain one bit of information -
whether it is generated from an LLM or not) and cannot flexibly meet the
diverse information encoding needs (such as encoding model version, generation
time, user id, etc.) in different LLMs application scenarios. In this work, we
conduct the first systematic study on the topic of Codable Text Watermarking
for LLMs (CTWL) that allows text watermarks to carry more customizable
information. First of all, we study the taxonomy of LLM watermarking technology
and give a mathematical formulation for CTWL. Additionally, we provide a
comprehensive evaluation system for CTWL: (1) watermarking success rate, (2)
robustness against various corruptions, (3) coding rate of payload information,
(4) encoding and decoding efficiency, (5) impacts on the quality of the
generated text. To meet the requirements of these non-Pareto-improving metrics,
we devise a CTWL method named Balance-Marking, based on the motivation of
ensuring that available and unavailable vocabularies for encoding information
have approximately equivalent probabilities. Compared to the random vocabulary
partitioning extended from the existing work, a probability-balanced vocabulary
partition can significantly improve the quality of the generated text.
Extensive experimental results have shown that our method outperforms a direct
baseline under comprehensive evaluation.
- Abstract(参考訳): 大規模言語モデル (LLM) は, 流布度やリアリズムが増大するテキストを生成するため, LLM の悪用を防ぐために, テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによって生成されたテキストを、生成されたテキストに隠れたパターンを注入することによって区別する上で、信頼性が証明されている。
しかし,従来のLLMの透かし方式はエンコーディング非効率であり(LLMから生成されるか否かに関わらず1ビットの情報のみを含む),異なるLLMアプリケーションシナリオにおける多様な情報エンコーディングニーズ(モデルバージョン,生成時間,ユーザIDなど)を柔軟に満たすことができない。
本研究では,テキスト透かしがよりカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) に関する,最初の体系的研究を行う。
まず, LLM透かし技術の分類について検討し, CTWLの数学的定式化について述べる。
また,(1)透かし成功率,(2)各種腐敗に対するロバスト性,(3)ペイロード情報の符号化率,(4)符号化・復号効率,(5)生成されたテキストの品質への影響など,ctwlの総合評価システムを提供する。
これらの非パレート改善指標の要件を満たすために,情報エンコーディングのための利用可能かつ使用不能な語彙がほぼ同等の確率を持つことを保証する動機に基づいて,バランスマーキングというctwl手法を考案する。
既存の作業から拡張されたランダムな語彙分割と比較して、確率均衡な語彙分割は生成したテキストの品質を著しく向上させることができる。
広範な実験結果から,本手法は総合評価で直接ベースラインを上回った。
関連論文リスト
- Topic-based Watermarks for LLM-Generated Text [46.71493672772134]
大規模言語モデル(LLM)のための「トピックベース透かしアルゴリズム」を提案する。
提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。
論文 参考訳(メタデータ) (2024-04-02T17:49:40Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Can Watermarks Survive Translation? On the Cross-lingual Consistency of
Text Watermark for Large Language Models [50.49500726536929]
現在のテキスト透かし技術は、テキストが様々な言語に翻訳されるときの一貫性を欠いている。
透かしを回避するための言語横断型透かし除去攻撃(CWRA)を提案する。
CWRAは、性能を損なわずに、AUC(Area Under the Curve)を0.95から0.67に減らし、ウォーターマークを効果的に除去することができる。
論文 参考訳(メタデータ) (2024-02-21T18:48:38Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [61.55924872561569]
相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
論文 参考訳(メタデータ) (2023-11-16T11:58:31Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - FunctionMarker: Watermarking Language Datasets via Knowledge Injection [65.33166992656024]
バックドアベースの透かしは、分類データセットの著作権を保護するための実行可能なアプローチである。
本稿では,知識注入による言語データセットの著作権保護手法であるFunctionMarkerを提案する。
論文 参考訳(メタデータ) (2023-11-16T03:22:53Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳(メタデータ) (2023-11-15T06:19:02Z) - Necessary and Sufficient Watermark for Large Language Models [31.933103173481964]
本稿では,テキストの品質を劣化させることなく,生成されたテキストに透かしを挿入するための,必要かつ十分な透かし(NS-Watermark)を提案する。
NS-Watermarkは既存の透かしよりも自然なテキストを生成することができることを示す。
特に機械翻訳タスクでは、NS-Watermarkは既存の透かし法を最大30BLEUスコアで上回ることができる。
論文 参考訳(メタデータ) (2023-10-02T00:48:51Z) - Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
We propose a robust and high-quality watermark method, Unigram-Watermark。
提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
論文 参考訳(メタデータ) (2023-06-30T07:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。