論文の概要: Reconciling Privacy with Provenance for Language Model Watermarks

• arxiv url: http://arxiv.org/abs/2611.06100v1
• Date: Wed, 04 Nov 2026 07:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.016933
• Title: Reconciling Privacy with Provenance for Language Model Watermarks
• Title（参考訳）: 言語モデル透かしの証明によるプライバシの再構築
• Abstract要約: 我々は,透かし設計の目標を個人追跡から総合使用量の推定にシフトすれば,証明とプライバシの調整が可能であることを示す。 我々は、個々のテキストが検出に寄与する証拠を確実に制限する、局所的に微分プライベートな透かしを開発する。 高プライバシーレベルで正確な周波数推定を実現するプライベートかつ計算効率のよい電子透かしであるRed-Green Sequence(RGS)の透かしを導入する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Watermarking has great potential for regulating the use of language models (LMs), but its deployment has been marred by controversy, as many users argue that fine-grained tracking of LM usage violates their privacy. This tension reduces the effectiveness of watermarks, as users engage in evasion strategies such as paraphrasing that can remove much of the watermark signal. We show that provenance and privacy can be reconciled if we shift the goal of watermark design from tracking individuals to estimating aggregate usage. We develop locally differentially private watermarks which provably limit the evidence that any individual text can contribute to detection, while still enabling accurate estimation of population frequencies. We introduce the Red-Green Sequence (RGS) watermark, a private and computationally efficient watermark that achieves accurate frequency estimation at high privacy levels across various models, sample sizes and generation entropies in settings that reflect realistic deployment scenarios. On C4 language modeling tasks, we attain $0.0019$ MSE with $0.0038$ mean absolute bias at a low $\varepsilon$ of 1, while in more challenging settings such as an essay writing task with only 100 text samples, we still find errors on the order of $0.0113$ MSE with $0.004$ mean absolute bias at $\varepsilon=2$.
• Abstract（参考訳）: ウォーターマーキングは、言語モデル(LM)の使用を規制する大きな可能性を持っているが、そのデプロイメントは、多くのユーザーがLMの使用状況のきめ細かい追跡がプライバシーを侵害していると主張しているため、論争に悩まされている。 この緊張は、透かし信号の多くを除去できるパラフレージングのような回避戦略にユーザが関与するため、透かしの有効性を低下させる。 我々は,透かし設計の目標を個人追跡から総合使用量の推定にシフトすれば,証明とプライバシの調整が可能であることを示す。 我々は、個々のテキストが検出に寄与する証拠を確実に制限すると共に、人口頻度の正確な推定を可能にする、局所的に異なるプライベートな透かしを開発する。 我々は,様々なモデル,サンプルサイズ,生成エントロピーを,現実的な展開シナリオを反映した設定において,高いプライバシレベルで正確な周波数推定を実現する,プライベートかつ計算効率のよいウォーターマークであるRed-Green Sequence(RGS)ウォーターマークを紹介した。 C4言語モデリングタスクでは、0.0019$MSEに$0.0038$平均絶対バイアスを$$\varepsilon$1で達成しますが、100テキストサンプルだけでエッセイを書くタスクのようなより難しい設定では、0.0113$MSEに$0.004$平均絶対バイアスを$\varepsilon=2$で取得します。

関連論文リスト

• Language Model Fingerprinting Requires Rethinking Watermark Teachers [49.33725372215003]
  生成したテキストを検証するためのテキスト透かしが,モデルフィンガープリントに適した蒸留教師であるかどうかを検討した。 指紋認証は、クエリ間で信号を集約し、スペーサー透かし信号を実行可能なものにする。 同等の透かし強度であっても、異なる配置がベースモデルの下で異なる可視性を持つトークンをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2026-10-03T00:19:29Z)
• Provably Robust Multi-bit Watermarking for AI-generated Text [37.21416140194606]
  大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する顕著な能力を示した。 犯罪者が偽ニュースやフィッシングメールなどの偽装コンテンツを作成するために悪用することもある。 ウォーターマーキングはこれらの懸念に対処するための重要なテクニックであり、メッセージをテキストに埋め込む。
  論文  参考訳（メタデータ） (2024-01-30T08:46:48Z)
• Robust Distortion-free Watermarks for Language Models [85.55407177530746]
  本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。 言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
  論文  参考訳（メタデータ） (2023-07-28T14:52:08Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。