論文の概要: Making Open-Source Text LLM Watermarks Durable Against Merging

• arxiv url: http://arxiv.org/abs/2607.20435v1
• Date: Mon, 11 May 2026 11:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.160004
• Title: Making Open-Source Text LLM Watermarks Durable Against Merging
• Title（参考訳）: オープンソーステキストLLM透かしをマージに使用可能にする
• Abstract要約: モデルマージに対して耐久性のあるOSM透かしを設計する方法を初めて示す。 本稿では,テキスト透かしをモデル重みに抽出する逆学習アルゴリズムであるMerge-Adversarial Trainingを提案する。
• 参考スコア（独自算出の注目度）: 9.415484660837022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-source LLMs (OSMs)arereaching near state-of-the-art performance, prompting prior works to trace the text they generate by embedding text watermarking algorithms directly into their weights. Yet, OSMs are subject to post-training modifications, which has been shown to remove the watermark. Model merging in particular, a prominent method used for combining expert knowledge and preventing catastrophic forgetting, strongly removes such OSM watermarks. A key question is how to enable OSM watermarks that survive subsequent merging. In this work, we show for the first time how to design an OSM watermark that is durable against model merging. We propose Merge-Adversarial Training, an adversarial training algorithm to distill text watermarks into model weights while being robust to subsequent model merging. Our approach consistently outperforms all baselines (e.g. with SLERP up to +51 percentage points (pp) TPR@1%FPR with +25 pp on average) while preserving downstream capabilities. We also for the first time evaluate OSM watermarks against realistic merge scenarios, representing common use-cases such as combining expert capabilities or preventing catastrophic forgetting, and with 3 prominent merging algorithms. More broadly, our findings suggest that adversarial training is a reliable approach for increasing OSM watermark durability against post-training modifications.
• Abstract（参考訳）: オープンソースのLLM(OSMs)は最先端のパフォーマンスに近づき、テキスト透かしアルゴリズムを直接重みに埋め込むことで、生成したテキストをトレースする。 しかし、OSMはトレーニング後の修正の対象となり、透かしを除去することが示されている。 特にモデルマージは、専門家の知識を組み合わせて破滅的な忘れを防ぎ、そのようなOSMの透かしを強く取り除いている。 重要な疑問は、後続のマージを生き残るOSMの透かしを有効にする方法である。 本研究では,モデルマージに対して耐久性のあるOSM透かしを設計する方法を初めて示す。 本稿では,テキスト透かしをモデル重みに蒸留し,その後のモデルマージに頑健であるマージ・アドバイザリアル・トレーニングを提案する。 我々のアプローチは、ダウンストリーム機能を保ちながら、すべてのベースライン(例えば、SLERPが+51パーセントポイント (pp) TPR@1%FPRが+25ppまで)を一貫して上回ります。 また、我々はOSMの透かしを現実的なマージシナリオに対して初めて評価し、専門家の能力の組み合わせや破滅的な忘れの防止、そして3つの顕著なマージアルゴリズムといった一般的なユースケースを表現した。 以上の結果から,OSMの透かし耐性を高めるためには,逆行訓練が信頼性の高いアプローチであることが示唆された。

関連論文リスト

• Position: LLM Watermarking Should Align Stakeholders' Incentives for Practical Adoption [94.887133335656]
  私たちはこのレンズを通して透かしの3つのクラスを見直します。 emphLLMテキスト透かしは、反ミスツールとしてのみフレーム化された場合に、控えめなプロバイダの利点を提供する。 emphIn-context watermarking (ICW)は、会議の主催者や教育者といった信頼できる関係者向けに調整されている。
  論文  参考訳（メタデータ） (2025-10-21T06:34:51Z)
• EditMark: Watermarking Large Language Models based on Model Editing [76.04893766374221]
  モデル編集を利用した最初の電子透かし手法であるEditMarkを提案する。 実験によると、EditMarkは32ビットの透かしを20秒以内にLLMに埋め込むことができ、透かし抽出の成功率は100%である。
  論文  参考訳（メタデータ） (2025-10-18T06:25:17Z)
• Breaking Distortion-free Watermarks in Large Language Models [17.56485872604935]
  現在のLLM透かし方式が専門家の敵に弱いという懸念が高まっている。 適応的なプロンプトとソートに基づくアルゴリズムを用いてLLMを透かしの秘密鍵を正確に復元する。
  論文  参考訳（メタデータ） (2025-02-25T19:52:55Z)
• DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models [18.023143082876015]
  テキストを各ウォーターマークビットに対して可変長セグメントに分割する動的で効率的で堅牢なマルチビット透かし法を提案する。 本手法は,埋め込みビット当たりのトークン数を25%削減し,透かし埋め込み時間を50%削減し,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持する。
  論文  参考訳（メタデータ） (2025-02-04T11:23:49Z)
• PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
  モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。 PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。 PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:27:14Z)
• MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
  MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。 評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2024-05-16T12:40:01Z)
• MarkPlugger: Generalizable Watermark Framework for Latent Diffusion Models without Retraining [48.41130825143742]
  AI生成コンテンツ(AIGC)の急速な発展期には、潜伏拡散モデル(LDM)の迅速な反復と修正により、ウォーターマークモデルによる再トレーニングがコストがかかる。 我々は,LDMの再学習を伴わない汎用的なプラグイン・アンド・プレイ・ウォーターマーク・フレームワークであるMarkPluggerを提案する。 実験結果から,本手法は画像品質と透かし回収率を効果的に調和させることがわかった。
  論文  参考訳（メタデータ） (2024-04-08T15:29:46Z)
• Watermark Stealing in Large Language Models [2.1165011830664673]
  本研究では,透かし付きLLMのAPIをほぼリバースエンジニアリングにクエリすることで,実用的なスプーフィング攻撃を可能にすることを示す。 私たちは、自動化されたWSアルゴリズムを初めて提案し、それを、現実的な環境でのスプーフィングとスクラブの最初の包括的な研究で使用します。
  論文  参考訳（メタデータ） (2024-02-29T17:12:39Z)
• WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models [48.19623266082828]
  WaterBenchは、大規模言語モデル(LLM)における透かしの最初の包括的なベンチマークである。 LLM透かしの最初の総合的なベンチマークであるWaterBenchを紹介し、3つの重要な要素を設計する。 オープンソースの透かしを2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/2ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/3ドル/
  論文  参考訳（メタデータ） (2023-11-13T08:09:01Z)
• A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
  以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。 これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。 攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T06:49:43Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。