論文の概要: PRO: Enabling Precise and Robust Text Watermark for Open-Source LLMs
- arxiv url: http://arxiv.org/abs/2510.23891v1
- Date: Mon, 27 Oct 2025 22:00:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.595852
- Title: PRO: Enabling Precise and Robust Text Watermark for Open-Source LLMs
- Title（参考訳）: PRO: オープンソースLLMのための精度とロバストテキスト透かしの実現
- Authors: Jiaqi Xue, Yifei Zhao, Mansour Al Ghanim, Shangqian Gao, Ruimin Sun, Qian Lou, Mengxin Zheng,
- Abstract要約: 本稿では,オープンソースのモデルに対する高精度かつロバストなテキスト透かし手法であるPropを提案する。
Proは、モデル修正に対する透かし検出性とレジリエンスの両方を大幅に改善する。
- 参考スコア（独自算出の注目度）: 33.70483974998233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text watermarking for large language models (LLMs) enables model owners to verify text origin and protect intellectual property. While watermarking methods for closed-source LLMs are relatively mature, extending them to open-source models remains challenging, as developers cannot control the decoding process. Consequently, owners of open-source LLMs lack practical means to verify whether text was generated by their models. A core difficulty lies in embedding watermarks directly into model weights without hurting detectability. A promising idea is to distill watermarks from a closed-source model into an open one, but this suffers from (i) poor detectability due to mismatch between learned and predefined patterns, and (ii) fragility to downstream modifications such as fine-tuning or model merging. To overcome these limitations, we propose PRO, a Precise and Robust text watermarking method for open-source LLMs. PRO jointly trains a watermark policy model with the LLM, producing patterns that are easier for the model to learn and more consistent with detection criteria. A regularization term further simulates downstream perturbations and penalizes degradation in watermark detectability, ensuring robustness under model edits. Experiments on open-source LLMs (e.g., LLaMA-3.2, LLaMA-3, Phi-2) show that PRO substantially improves both watermark detectability and resilience to model modifications.
- Abstract（参考訳）: 大規模言語モデル (LLM) のためのテキスト透かしにより、モデル所有者はテキストの起源を検証でき、知的財産を保護することができる。
クローズドソースLLMの透かし手法は比較的成熟しているが、開発者はデコードプロセスを制御できないため、それらをオープンソースモデルに拡張することは難しい。
結果として、オープンソースのLLMの所有者は、彼らのモデルからテキストが生成されるかどうかを検証するための実践的な手段を欠いている。
主な課題は、検出性を損なうことなく、モデルウェイトに直接透かしを埋め込むことである。
有望なアイデアは、クローズドソースモデルからオープンなモデルに透かしを蒸留することだ。
(i)学習パターンと事前定義されたパターンのミスマッチによる検出性の低下
(II)微調整やモデルマージなどの下流修正に対する脆弱性。
これらの制約を克服するため,オープンソースのLCMのためのPOW(Precise and Robust text watermarking method)を提案する。
PROはLLMと共同で透かしポリシーモデルをトレーニングし、モデルが学習しやすく、検出基準とより整合したパターンを生成する。
正規化項はさらに下流の摂動をシミュレートし、透かし検出性の低下を罰し、モデル編集時の堅牢性を保証する。
オープンソースのLCM(例: LLaMA-3.2, LLaMA-3, Phi-2)の実験では、Proは透かしの検出性とモデル修正に対するレジリエンスの両方を大幅に改善することが示された。
関連論文リスト
- Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking [51.417096446156926]
ウォーターマークされたLCM出力に局所的に編集されたポストジェネレーションの編集を検出する。
本稿では,語彙を部分集合に分割し,透かしを埋め込むパターンベースの透かしフレームワークを提案する。
本手法は,様々な編集シナリオにおけるオープンソースのLCMについて評価し,編集ローカライゼーションにおける強力な経験的性能を示す。
論文 参考訳（メタデータ） (2025-10-02T03:33:12Z) - Mark Your LLM: Detecting the Misuse of Open-Source Large Language Models via Watermarking [40.951792492059646]
本研究は,オープンソースの大規模言語モデル(LLM)における2つの誤用シナリオを定義する。
本稿では,これらの文脈における推論時透かし蒸留とバックドア透かしの適用について検討する。
実験の結果, 後方透かしはIP Violationを効果的に検出でき, 推論時透かし蒸留はどちらのシナリオにも適用可能であることがわかった。
論文 参考訳（メタデータ） (2025-03-06T17:24:06Z) - Towards Watermarking of Open-Source LLMs [1.9374282535132377]
我々はオープンソースのLCM透かしの体系的研究の基礎を築いた。
最初に、一般的なモデル修正に対する耐久性を含む、重要な要件を明示的に定式化します。
論文 参考訳（メタデータ） (2025-02-14T19:41:23Z) - GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。
GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
論文 参考訳（メタデータ） (2025-01-17T22:30:08Z) - Provably Robust Watermarks for Open-Source Language Models [5.509756888700397]
オープンソースの言語モデルに対する最初の透かし方式を紹介する。
我々のスキームはモデルのパラメータを変更することで機能するが、透かしはモデルの出力だけから検出できる。
おそらく驚くべきことに、我々の透かしは敵の知識に関する特定の仮定の下では取り除けないことを証明している。
論文 参考訳（メタデータ） (2024-10-24T15:44:34Z) - WAPITI: A Watermark for Finetuned Open-Source LLMs [42.1087852764299]
WAPITIはパラメータ統合によってベースモデルから微調整モデルに透かしを転送する新しい手法である。
提案手法は,透かしの注入に成功し,微調整モデルとの互換性が高いことを示す。
論文 参考訳（メタデータ） (2024-10-09T01:41:14Z) - Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [53.32564762183639]
大規模言語モデル(LLM)の透かしのための新しい統一的理論フレームワークを導入する。
本研究の目的は,最悪の偽陽性率(FPR)の制御とテキスト品質の歪みを維持しつつ,検出性能を最大化することである。
モデル非依存と効率性に代えて代理モデルを利用する歪みのない分散適応型透かしアルゴリズム(DAWA)を提案する。
論文 参考訳（メタデータ） (2024-10-03T18:28:10Z) - DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。
我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。
DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文 参考訳（メタデータ） (2024-06-07T19:38:05Z) - ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。
敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる
ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
論文 参考訳（メタデータ） (2024-05-03T06:41:48Z) - Learnable Linguistic Watermarks for Tracing Model Extraction Attacks on Large Language Models [20.44680783275184]
モデル抽出攻撃に対する現在の透かし技術は、モデルロジットの信号挿入や生成されたテキストの後処理に依存している。
大規模言語モデル(LLM)に学習可能な言語透かしを埋め込む新しい手法を提案する。
制御ノイズをトークン周波数分布に導入し,統計的に識別可能な透かしを埋め込むことにより,LLMの出力分布を微調整する。
論文 参考訳（メタデータ） (2024-04-28T14:45:53Z) - Double-I Watermark: Protecting Model Copyright for LLM Fine-tuning [45.09125828947013]
提案手法は、微調整中に特定の透かし情報をカスタマイズされたモデルに効果的に注入する。
提案手法を各種微調整法で評価し, その無害性, 頑健性, 独特性, 不受容性, 妥当性を定量的および定性的な分析により検証した。
論文 参考訳（メタデータ） (2024-02-22T04:55:14Z) - Unbiased Watermark for Large Language Models [67.43415395591221]
本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。
出力確率分布に影響を与えることなく、透かしを統合することができる。
ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
論文 参考訳（メタデータ） (2023-09-22T12:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。