論文の概要: GaussMark: A Practical Approach for Structural Watermarking of Language Models

• arxiv url: http://arxiv.org/abs/2501.13941v1
• Date: Fri, 17 Jan 2025 22:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-02 08:21:54.689228
• Title: GaussMark: A Practical Approach for Structural Watermarking of Language Models
• Title（参考訳）: GaussMark: 言語モデルの構造的透かしの実践的アプローチ
• Authors: Adam Block, Ayush Sekhari, Alexander Rakhlin,
• Abstract要約: GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。 GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 61.84270985214254
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have led to significant improvements in natural language processing tasks, but their ability to generate human-quality text raises significant ethical and operational concerns in settings where it is important to recognize whether or not a given text was generated by a human. Thus, recent work has focused on developing techniques for watermarking LLM-generated text, i.e., introducing an almost imperceptible signal that allows a provider equipped with a secret key to determine if given text was generated by their model. Current watermarking techniques are often not practical due to concerns with generation latency, detection time, degradation in text quality, or robustness. Many of these drawbacks come from the focus on token-level watermarking, which ignores the inherent structure of text. In this work, we introduce a new scheme, GaussMark, that is simple and efficient to implement, has formal statistical guarantees on its efficacy, comes at no cost in generation latency, and embeds the watermark into the weights of the model itself, providing a structural watermark. Our approach is based on Gaussian independence testing and is motivated by recent empirical observations that minor additive corruptions to LLM weights can result in models of identical (or even improved) quality. We show that by adding a small amount of Gaussian noise to the weights of a given LLM, we can watermark the model in a way that is statistically detectable by a provider who retains the secret key. We provide formal statistical bounds on the validity and power of our procedure. Through an extensive suite of experiments, we demonstrate that GaussMark is reliable, efficient, and relatively robust to corruptions such as insertions, deletions, substitutions, and roundtrip translations and can be instantiated with essentially no loss in model quality.
• Abstract（参考訳）: 近年のLarge Language Models(LLM)の進歩は、自然言語処理タスクの大幅な改善につながっているが、人間の高品質なテキストを生成する能力は、与えられたテキストが人間によって生成されたかどうかを認識することが重要である設定において、重大な倫理的および運用上の懸念を生じさせる。 したがって、近年の研究では、LLM生成したテキストを透かし出す技術、すなわち、秘密鍵を備えたプロバイダが、与えられたテキストがモデルによって生成されたかどうかを判断する、ほとんど認識不能な信号を導入することに焦点を当てている。 現在の透かし技術は、生成遅延、検出時間、テキスト品質の劣化、堅牢性といった懸念から、実用的ではないことが多い。 これらの欠点の多くは、テキスト固有の構造を無視したトークンレベルの透かしに焦点が当てられていることから来ています。 本稿では,実装がシンプルで効率的な新しいスキームであるGaussMarkを紹介し,その有効性に関する公式な統計的保証を持ち,生成遅延のコストを伴わず,モデル自体の重みに透かしを埋め込んで構造的な透かしを提供する。 我々のアプローチはガウス独立試験に基づいており、最近の経験的観察により、LLM重みに対する小さな加法的腐敗が同一(あるいはさらに改善された)品質のモデルをもたらすことが示唆されている。 与えられたLLMの重みに少量のガウスノイズを加えることで、秘密鍵を保持するプロバイダによって統計的に検出可能な方法でモデルを透かし出すことができることを示す。 手順の妥当性とパワーに関する公式な統計的境界を提供する。 広範な実験を通して,ガウスマークは挿入,削除,置換,ラウンドトリップ翻訳などの汚職に対して信頼性が高く,効率的で比較的堅牢であり,基本的にモデル品質を損なわずにインスタンス化できることを示した。

関連論文リスト

• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• Learnable Linguistic Watermarks for Tracing Model Extraction Attacks on Large Language Models [20.44680783275184]
  モデル抽出攻撃に対する現在の透かし技術は、モデルロジットの信号挿入や生成されたテキストの後処理に依存している。 大規模言語モデル(LLM)に学習可能な言語透かしを埋め込む新しい手法を提案する。 制御ノイズをトークン周波数分布に導入し,統計的に識別可能な透かしを埋め込むことにより,LLMの出力分布を微調整する。
  論文  参考訳（メタデータ） (2024-04-28T14:45:53Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)
• Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding [80.3811072650087]
  自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。 本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。 AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
  論文  参考訳（メタデータ） (2020-09-07T11:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。