論文の概要: Watermarking for Byzantine Robust LLM Training

• arxiv url: http://arxiv.org/abs/2610.14289v1
• Date: Fri, 09 Oct 2026 20:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:16:12.921536
• Title: Watermarking for Byzantine Robust LLM Training
• Title（参考訳）: ビザンチンロバストLLMトレーニングのための透かし
• Abstract要約: CamoMarkは、連邦学習にロバストな透かしを埋め込むためのアグリゲータに依存しない透かしスキームである。 検出信頼度は$p$-value $= 1.82times10-2$で、3.3%の透かしデータのみを使用する。
• 参考スコア（独自算出の注目度）: 3.6503955888587245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM watermarking has emerged as a promising approach for detecting downstream model misuse in centralized settings, but extending it to federated learning (FL) presents unique challenges. In particular, FL systems often rely on strong robust aggregators to defend against poisoning attacks. We empirically show that a malicious server can exploit these same aggregators as effective watermark-removal mechanisms during training, causing representative existing LLM watermarking methods to fail detection in the final model. To address this limitation, we formalize the problem as a constrained optimization task and propose CamoMark, an aggregator-agnostic watermarking scheme for embedding robust watermarks in FL. CamoMark optimizes watermarked updates to become inliers, maintaining bounded deviation from the distribution of clean updates, while preserving sufficient watermark signal for reliable detection. Evaluated on Qwen fine-tuned on the Alpaca dataset, CamoMark achieves a detection confidence of $p$-value $= 1.82\times10^{-2}$ using only 3.3% watermarked data. The watermark also remains robust to a range of post-training removal attacks, including continued fine-tuning on clean data, pruning, and model distillation. At higher watermark ratios, detection confidence improves substantially, reaching $p$-value $= 5.11\times10^{-11}$ at a 13.3% watermark ratio.
• Abstract（参考訳）: LLM透かしは、集中的な設定で下流モデルの誤用を検出するための有望なアプローチとして現れてきたが、それをFL(Federated Learning)に拡張することで、ユニークな課題が提示されている。 特にFLシステムは、しばしば強靭なアグリゲーターに頼り、毒殺攻撃を防いでいる。 我々は、悪意のあるサーバがトレーニング中にこれらの同じアグリゲータを効果的な透かし除去機構として活用できることを実証的に示す。 この制限に対処するため、制約付き最適化タスクとして問題を定式化し、FLにロバストな透かしを埋め込むアグリゲータに依存しない透かしスキームであるCamoMarkを提案する。 CamoMarkは、透かしのある更新を最適化し、不整合となり、クリーンな更新の配布から逸脱し、信頼できる検出に十分な透かし信号を保持する。 Alpacaデータセットで微調整されたQwenに基づいて、CamoMarkは、わずか3.3%の透かしデータを使用して、$p$-value $= 1.82\times10^{-2}の検出信頼性を達成する。 透かしは、清潔なデータの微調整、刈り取り、モデルの蒸留など、訓練後の除去攻撃にも頑丈なままである。 高い透かし比では、検出信頼性が大幅に向上し、p$-value $= 5.11\times10^{-11}$を13.3%の透かし比で達成する。

関連論文リスト

• Language Model Fingerprinting Requires Rethinking Watermark Teachers [49.33725372215003]
  生成したテキストを検証するためのテキスト透かしが,モデルフィンガープリントに適した蒸留教師であるかどうかを検討した。 指紋認証は、クエリ間で信号を集約し、スペーサー透かし信号を実行可能なものにする。 同等の透かし強度であっても、異なる配置がベースモデルの下で異なる可視性を持つトークンをターゲットにすることができることを示す。
  論文  参考訳（メタデータ） (2026-10-03T00:19:29Z)
• AuthenLoRA: Entangling Stylization with Imperceptible Watermarks for Copyright-Secure LoRA Adapters [52.556959321030966]
  Low-Rank Adaptation (LoRA) は拡散モデルをカスタマイズするための効率的なパラダイムを提供する。 既存の透かし技術はベースモデルをターゲットにするか、LoRAモジュール自体を検証する。 本稿では,LoRAトレーニングプロセスに直接,認識不能でトレーサブルな透かしを埋め込む統一透かしフレームワークであるAuthenLoRAを提案する。
  論文  参考訳（メタデータ） (2025-11-26T09:48:11Z)
• EditMark: Watermarking Large Language Models based on Model Editing [76.04893766374221]
  モデル編集を利用した最初の電子透かし手法であるEditMarkを提案する。 実験によると、EditMarkは32ビットの透かしを20秒以内にLLMに埋め込むことができ、透かし抽出の成功率は100%である。
  論文  参考訳（メタデータ） (2025-10-18T06:25:17Z)
• OptMark: Robust Multi-bit Diffusion Watermarking via Inference Time Optimization [66.69924980864053]
  拡散復調過程の中間潜水器に頑健なマルチビット透かしを埋め込む最適化手法である OptMark を提案する。 OptMarkは、生成攻撃に対して早期に構造的な透かしを挿入し、画像変換に耐えるために遅れて詳細な透かしを挿入する。 実験結果から,OptMarkは有意変換,幾何変換,編集,再生攻撃に対する堅牢なレジリエンスを確保しつつ,目に見えないマルチビット透かしを実現することが示された。
  論文  参考訳（メタデータ） (2025-08-29T15:50:59Z)
• CLUE-MARK: Watermarking Diffusion Models using CLWE [8.429227679450433]
  本稿では,拡散モデルに対する最初の検出不能な透かし方式であるCLUE-Markを紹介する。 CLUE-Markは、ウォーターマークされたモデルの変更を一切必要とせず、計算効率が良く、モデル出力の品質に影響を与えないことが保証されている。 CLUE-Markは、最近のステガノグラフィー攻撃では検出や除去ができない。
  論文  参考訳（メタデータ） (2024-11-18T10:03:01Z)
• Watermark Smoothing Attacks against Language Models [40.02225709485305]
  スムーシング・アタック(Smoothing Attack)は,新しい透かし除去法である。 我々は、13ドルBから30ドルBまで、オープンソースのモデルに対する攻撃を検証する。
  論文  参考訳（メタデータ） (2024-07-19T11:04:54Z)
• ClearMark: Intuitive and Robust Model Watermarking via Transposed Model Training [50.77001916246691]
  本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。 ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。 8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
  論文  参考訳（メタデータ） (2023-10-25T08:16:55Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。