論文の概要: Downstream Trade-offs of a Family of Text Watermarks

• arxiv url: http://arxiv.org/abs/2311.09816v2
• Date: Sun, 20 Oct 2024 08:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:21.339105
• Title: Downstream Trade-offs of a Family of Text Watermarks
• Title（参考訳）: テキスト透かしの家族の下流におけるトレードオフ
• Authors: Anirudh Ajith, Sameer Singh, Danish Pruthi,
• Abstract要約: 多様なタスク群に対する3つの異なる戦略を用いて,LLMの性能評価を行った。 電子透かしは全てのタスクにおいて LLM の有効性を著しく低下させる可能性がある。 この結果から,透かしモデルを用いた場合,ユーザが認識すべきトレードオフが浮き彫りになった。
• 参考スコア（独自算出の注目度）: 25.408313192999504
• License:
• Abstract: Watermarking involves implanting an imperceptible signal into generated text that can later be detected via statistical tests. A prominent family of watermarking strategies for LLMs embeds this signal by upsampling a (pseudorandomly-chosen) subset of tokens at every generation step. However, such signals alter the model's output distribution and can have unintended effects on its downstream performance. In this work, we evaluate the performance of LLMs watermarked using three different strategies over a diverse suite of tasks including those cast as k-class classification (CLS), multiple choice question answering (MCQ), short-form generation (e.g., open-ended question answering) and long-form generation (e.g., translation) tasks. We find that watermarks (under realistic hyperparameters) can cause significant drops in LLMs' effective utility across all tasks. We observe drops of 10 to 20% in CLS tasks in the average case, which shoot up to 100% in the worst case. We notice degradations of about 7% in MCQ tasks, 10-15% in short-form generation, and 5-15% in long-form generation tasks. Our findings highlight the trade-offs that users should be cognizant of when using watermarked models.
• Abstract（参考訳）: 透かしは、受信不能な信号を生成されたテキストに埋め込むことで、後に統計検査によって検出される。 LLMの顕著なウォーターマーキング戦略のファミリーは、各世代でトークンの(擬似ランダムな)サブセットをアップサンプリングすることで、このシグナルを埋め込む。 しかし、そのような信号はモデルの出力分布を変え、下流の性能に意図しない影響を与える。 本研究では,kクラス分類 (CLS) や複数選択質問応答 (MCQ) ,ショートフォーム生成 (e.g., オープンエンド質問応答) ,ロングフォーム生成 (e., 翻訳) タスクなど,多種多様なタスク群に対する3つの戦略を用いたLLMの性能評価を行った。 透かし(現実的なハイパーパラメーターの下で)は、全てのタスクにおいてLLMの有効性を大幅に低下させる可能性がある。 平均的なケースでは10～20%のCLSタスクが減少し、最悪のケースでは100%に達する。 MCQタスクで約7%,ショートフォーム生成で10-15%,ロングフォーム生成で5-15%の劣化が確認された。 この結果から,透かしモデルを用いた場合,ユーザが認識すべきトレードオフが浮き彫りになった。

関連論文リスト

• Provably Robust Watermarks for Open-Source Language Models [5.509756888700397]
  オープンソースの言語モデルに対する最初の透かし方式を紹介する。 我々のスキームはモデルのパラメータを変更することで機能するが、透かしはモデルの出力だけから検出できる。 おそらく驚くべきことに、我々の透かしは敵の知識に関する特定の仮定の下では取り除けないことを証明している。
  論文  参考訳（メタデータ） (2024-10-24T15:44:34Z)
• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• WAPITI: A Watermark for Finetuned Open-Source LLMs [42.1087852764299]
  WAPITIはパラメータ統合によってベースモデルから微調整モデルに透かしを転送する新しい手法である。 提案手法は,透かしの注入に成功し,微調整モデルとの互換性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-09T01:41:14Z)
• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models [48.19623266082828]
  WaterBenchは、大規模言語モデル(LLM)における透かしの最初の包括的なベンチマークである。 LLM透かしの最初の総合的なベンチマークであるWaterBenchを紹介し、3つの重要な要素を設計する。 オープンソースの透かしを2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/
  論文  参考訳（メタデータ） (2023-11-13T08:09:01Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。