論文の概要: Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring

• arxiv url: http://arxiv.org/abs/2311.09668v1
• Date: Thu, 16 Nov 2023 08:36:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:48:27.517250
• Title: Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring
• Title（参考訳）: 単語の重要度スコアリングによるウォーターマーク大言語モデルの生成品質向上
• Authors: Yuhang Li, Yihan Wang, Zhouxing Shi, Cho-Jui Hsieh
• Abstract要約: トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
• 参考スコア（独自算出の注目度）: 81.62249424226084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strong general capabilities of Large Language Models (LLMs) bring potential ethical risks if they are unrestrictedly accessible to malicious users. Token-level watermarking inserts watermarks in the generated texts by altering the token probability distributions with a private random number generator seeded by its prefix tokens. However, this watermarking algorithm alters the logits during generation, which can lead to a downgraded text quality if it chooses to promote tokens that are less relevant given the input. In this work, we propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS). At each generation step, we estimate the importance of the token to generate, and prevent it from being impacted by watermarking if it is important for the semantic correctness of the output. We further propose three methods to predict importance scoring, including a perturbation-based method and two model-based methods. Empirical experiments show that our method can generate texts with better quality with comparable level of detection rate.
• Abstract（参考訳）: 大規模言語モデル(llm)の強力な汎用性は、悪意のあるユーザに制限なくアクセス可能な場合、潜在的な倫理的リスクをもたらす。 トークン確率分布をプレフィックストークンでシードされたプライベート乱数生成器で変更することにより、トークンレベルの透かしを生成されたテキストに挿入する。 しかし、この透かしアルゴリズムは、生成中のロジットを変更するため、入力によって重要度の低いトークンを推奨すると、テキストの品質が低下する可能性がある。 本研究では,透かし付き言語モデルが生成するテキストの品質を,WIS(Watermarking with Importance Scoring)によって改善することを提案する。 各世代ステップにおいて,生成するトークンの重要性を推定し,出力の意味的正確性に重要である場合,透かしによる影響を防止する。 さらに,摂動法とモデルに基づく2つの手法を含む,重要度得点を予測する3つの手法を提案する。 実験により,本手法は検出率に匹敵する品質のテキストを生成できることを示した。

関連論文リスト

• Topic-Based Watermarks for LLM-Generated Text [46.71493672772134]
  本稿では,大規模言語モデル(LLM)のためのトピックベースの新しい透かしアルゴリズムを提案する。 トピック固有のトークンバイアスを使用することで、生成されたテキストにトピック依存の透かしを埋め込む。 提案手法は,テキストトピックを99.99%の信頼度で分類する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
  トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
  論文  参考訳（メタデータ） (2024-03-12T16:25:38Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
  本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。 現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。 言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
  論文  参考訳（メタデータ） (2023-10-11T17:57:35Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。