論文の概要: WoE Wrote It? Watermarking Mixture-of-Experts LLMs for Black-Box Text Provenance

• arxiv url: http://arxiv.org/abs/2608.29151v1
• Date: Sat, 29 Aug 2026 08:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 12:55:02.082117
• Title: WoE Wrote It? Watermarking Mixture-of-Experts LLMs for Black-Box Text Provenance
• Title（参考訳）: WE Wrote it? Black-Box Text Provenanceのための透かし混合LCM
• Abstract要約: 我々は,新しいブラックボックステキスト証明法であるWatermarking of Experts (WoE)を紹介する。 WoEは特定の専門家の語彙をバイアスし、ウォーターマーク信号を強制できない推論ラッパーから切り離す。 疑似テキストからの透かし検出に成功し、8つのMoEモデル間でWoEを評価した。
• 参考スコア（独自算出の注目度）: 14.891975420982504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) watermarks provide a mechanism for text provenance, enabling model owners to identify machine-generated content and attribute it to a specific watermarked model. However, current LLM watermarking approaches predominantly rely on inference-time sampler methods and focus their analysis on dense models. Inference-time methods are only effective when the text is explicitly generated via the model owner's controlled API; they fail in a post-compromise scenario. An adversary who steals or leaks the model weights gains complete control over inference and can simply run an unmodified sampler, bypassing the watermark and preventing post-theft attribution. In this work, we introduce Watermarking of Experts (WoE), a novel black-box text provenance method that leverages the unique structural properties of sparse Mixture-of-Experts (MoE) models. WoE biases the vocabulary of specific experts and shifts the watermark signal embedding away from unenforceable inference wrappers. This approach ensures the watermark remains intrinsic to the model parameters, enabling defenders to attribute text generated by stolen weights, leaked checkpoints, and secondary dense models distilled from the stolen architecture without needing access to the adversary's deployment or weights. We evaluate WoE across eight MoE models, demonstrating successful watermark detection from suspect text, achieving an average true positive rate of 90.1% at a 1% false positive rate, reaching up to 94.9%, while largely preserving general model utility. Furthermore, WoE remains detectable under adversarial supervised fine-tuning, model extraction, and output-level paraphrasing, forcing malicious actors into a trade-off in which weakening the attribution signal requires additional model adaptation or text-rewriting operations, or compromises the utility of the resulting output.
• Abstract（参考訳）: 大きな言語モデル(LLM)の透かしは、テキスト証明のためのメカニズムを提供し、モデル所有者は、マシン生成したコンテンツを識別し、それを特定の透かしモデルに関連付けることができる。 しかし、現在のLLMウォーターマーキングアプローチは、主に推論時サンプリング手法に依存し、その分析は密度の高いモデルに焦点をあてている。 推論時メソッドは、モデル所有者のコントロールされたAPIを通じてテキストが明示的に生成される場合にのみ有効である。 モデルの重みを盗んだり漏らしたりする敵は、推論を完全に制御し、修正されていないサンプルを単に実行し、透かしをバイパスし、盗難後の帰属を防止する。 本研究では,スパースミクチャー・オブ・エクササイズ(MoE)モデルのユニークな構造特性を活用する,新しいブラックボックステキスト証明法であるWatermarking of Experts(WoE)を紹介する。 WoEは特定の専門家の語彙をバイアスし、強制できない推論ラッパーから埋め込んだ透かし信号をシフトする。 このアプローチにより、ウォーターマークはモデルパラメータに固有のままであり、敵の展開や重みへのアクセスを必要とせずに、盗まれた重み、漏洩したチェックポイント、および盗まれたアーキテクチャから蒸留された二次的な密度の高いモデルによって、ディフェンダーが生成したテキストを属性することができる。 我々は8つのMoEモデルでWoEを評価し、疑似テキストからの透かし検出を成功させ、平均真正率90.1%を偽陽性率で達成し、94.9%まで到達した。 さらに、WoEは、敵の監督された微調整、モデル抽出、出力レベルのパラフレーズの下でも検出可能であり、悪意のあるアクターをトレードオフに強制し、帰属シグナルを弱めるには追加のモデル適応やテキスト書き換え操作が必要であり、結果の出力の有用性を損なう。

関連論文リスト

• DeepTracer: Tracing Stolen Model via Deep Coupled Watermarks [14.552367035706283]
  本稿では,新しい透かしサンプル構築法と等級結合損失制約を利用する,堅牢な透かしフレームワークDeepTracerを紹介する。 DeepTracerは、ウォーターマークタスクとプライマリタスクとの間に高い結合モデルを持ち込み、敵がメインタスク機能を盗む際に隠れたウォーターマークタスクを学習させる。 モデルオーナシップ検証に使用される透かしキーを精巧に選択して,透かしの信頼性を高める,効果的な透かしサンプルフィルタリング機構を提案する。
  論文  参考訳（メタデータ） (2025-11-12T05:06:25Z)
• LLM Watermark Evasion via Bias Inversion [24.543675977310357]
  本稿では,理論的動機付けとモデルに依存しないemphBias-Inversion Rewriting Attack (BIRA)を提案する。 BIRAは、下層の透かし方式を知らずに書き直し中に、おそらく透かしのトークンのロジットを抑えることで透かし信号を弱める。
  論文  参考訳（メタデータ） (2025-09-27T00:24:57Z)
• Character-Level Perturbations Disrupt LLM Watermarks [64.60090923837701]
  我々は,Large Language Model (LLM)ウォーターマーキングのためのシステムモデルを定式化する。 我々は、透かし検出器への限られたアクセスに制約された2つの現実的な脅威モデルの特徴付けを行う。 我々は,最も制限的な脅威モデルの下で,キャラクタレベルの摂動が透かし除去に著しく有効であることを実証した。 現実的な制約下での透かし除去における文字レベルの摂動の優位性と遺伝的アルゴリズム(GA)の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2025-09-11T02:50:07Z)
• Towards Dataset Copyright Evasion Attack against Personalized Text-to-Image Diffusion Models [52.877452505561706]
  データセットのオーナシップ検証(DOV)を損なうよう特別に設計された最初の著作権回避攻撃を提案する。 CEAT2Iは, 試料検出, トリガー同定, 効率的な透かし除去の3段階からなる。 実験の結果,CEAT2I はモデル性能を保ちながら DOV 機構を効果的に回避できることがわかった。
  論文  参考訳（メタデータ） (2025-05-05T17:51:55Z)
• AGATE: Stealthy Black-box Watermarking for Multimodal Model Copyright Protection [26.066755429896926]
  バックドアの透かしとしてOoD(Out-of-Distribution)データを選択し、著作権保護のためにオリジナルのモデルを再訓練する。 既存の方法は、敵による悪意のある検出と偽造を受けやすいため、透かしの回避につながる。 マルチモーダルモデル著作権保護におけるステルスネスとロバストネスの課題に対処するために,モデル-アンダーラインに依存しないブラックボックスのバックドアWunderlineatermarking Framework (AGATE)を提案する。
  論文  参考訳（メタデータ） (2025-04-28T14:52:01Z)
• GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
  GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。 GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
  論文  参考訳（メタデータ） (2025-01-17T22:30:08Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• Watermarking Language Models for Many Adaptive Users [47.90822587139056]
  証明可能な保証付き言語モデルの透かし方式について検討する。 モデル生成テキストを個々のユーザに対してトレース可能なマルチユーザ透かしを導入する。 検出不能なChrist, Gunn, Zamir (2024) のゼロビットスキームが適応的に堅牢であることを証明する。
  論文  参考訳（メタデータ） (2024-05-17T22:15:30Z)
• Explanation as a Watermark: Towards Harmless and Multi-bit Model Ownership Verification via Watermarking Feature Attribution [22.933101948176606]
  バックドアベースのモデル透かしは、リリースされたモデルにそのような特性を埋め込む、プライマリおよび最先端の方法である。 特徴属性の説明に検証動作を埋め込む新しい透かしパラダイムである$i.e.$, Explanation as a Watermark (EaaW) を設計する。
  論文  参考訳（メタデータ） (2024-05-08T05:49:46Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• ClearMark: Intuitive and Robust Model Watermarking via Transposed Model Training [50.77001916246691]
  本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。 ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。 8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
  論文  参考訳（メタデータ） (2023-10-25T08:16:55Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Entangled Watermarks as a Defense against Model Extraction [42.74645868767025]
  Entangled Watermarking Embeddings (EWE)は、機械学習モデルをExtraction攻撃から保護するために使用される。 EWEは、タスク分布とウォーターマークをエンコードするデータからサンプリングされたデータを分類する機能を学ぶ。 MNIST、Fashion-MNIST、CIFAR-10、Speech Commandsの実験では、ディフェンダーは95%の信頼性でモデルの所有権を主張でき、100以上のクエリを盗まれている。
  論文  参考訳（メタデータ） (2020-02-27T15:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。