論文の概要: Watermarking Language Models through Language Models

• arxiv url: http://arxiv.org/abs/2411.05091v2
• Date: Fri, 20 Jun 2025 16:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 14:57:50.992648
• Title: Watermarking Language Models through Language Models
• Title（参考訳）: 言語モデルによる透かし言語モデル
• Authors: Agnibh Dasgupta, Abdullah Tanvir, Xin Zhong,
• Abstract要約: 入力レベルで完全に動作するプロンプト誘導型透かしフレームワークを導入し、モデルパラメータへのアクセスやロジットの復号は不要である。 GPT-4o, Mistral, LLaMA3, DeepSeek など 25 種類の LM と Prompting の組み合わせについて検討した。 実験の結果, 透かし信号はアーキテクチャ全体にわたって一般化し, 微調整, モデル蒸留, 即時攻撃下では頑健であることがわかった。
• 参考スコア（独自算出の注目度）: 1.249418440326334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Watermarking the outputs of large language models (LLMs) is critical for provenance tracing, content regulation, and model accountability. Existing approaches often rely on access to model internals or are constrained by static rules and token-level perturbations. Moreover, the idea of steering generative behavior via prompt-based instruction control remains largely underexplored. We introduce a prompt-guided watermarking framework that operates entirely at the input level and requires no access to model parameters or decoding logits. The framework comprises three cooperating components: a Prompting LM that synthesizes watermarking instructions from user prompts, a Marking LM that generates watermarked outputs conditioned on these instructions, and a Detecting LM trained to classify whether a response carries an embedded watermark. This modular design enables dynamic watermarking that adapts to individual prompts while remaining compatible with diverse LLM architectures, including both proprietary and open-weight models. We evaluate the framework over 25 combinations of Prompting and Marking LMs, such as GPT-4o, Mistral, LLaMA3, and DeepSeek. Experimental results show that watermark signals generalize across architectures and remain robust under fine-tuning, model distillation, and prompt-based adversarial attacks, demonstrating the effectiveness and robustness of the proposed approach.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアウトプットをウォーターマークすることは、証明トレース、コンテンツ規制、モデル説明責任にとって重要である。 既存のアプローチは、しばしばモデル内部へのアクセスに依存するか、静的ルールとトークンレベルの摂動によって制約される。 さらに、プロンプトベースの命令制御による生成行動の操縦という考え方は、いまだに未熟なままである。 本稿では,入力レベルで完全に動作し,モデルパラメータへのアクセスやロジットの復号化を必要としない,プロンプト誘導型透かしフレームワークを提案する。 本発明のフレームワークは、ユーザプロンプトから透かし命令を合成するPrompting LMと、これらの命令で条件付けられた透かし出力を生成するマーキング LMと、応答が埋め込み透かしを運ぶかどうかを分類する訓練された検出 LMと、からなる。 このモジュール設計により、個別のプロンプトに適応する動的な透かしが可能となり、プロプライエタリモデルとオープンウェイトモデルの両方を含む様々なLLMアーキテクチャとの互換性が保たれる。 GPT-4o, Mistral, LLaMA3, DeepSeek など 25 種類の LM と Prompting の組み合わせについて検討した。 実験の結果, 透かし信号はアーキテクチャ全体にわたって一般化され, 微調整, モデル蒸留, 即時攻撃下では頑健であり, 提案手法の有効性とロバスト性を実証した。

関連論文リスト

• In-Context Watermarks for Large Language Models [71.29952527565749]
  In-Context Watermarking (ICW)は、インシデントエンジニアリングのみで生成されたテキストに透かしを埋め込む。 粒度の異なる4つのICW戦略について検討した。 本実験は,モデルに依存しない実用的な透かし手法としてのICWの実現可能性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-22T17:24:51Z)
• Improved Unbiased Watermark for Large Language Models [59.00698153097887]
  本稿では,非バイアスのマルチチャネル型透かしであるMCmarkを紹介する。 MCmarkは言語モデルの本来の分布を保存する。 既存の非バイアスの透かしよりも検出性と堅牢性を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-16T21:02:36Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models [1.7188280334580197]
  SimMarkは、大規模な言語モデルの出力を、モデルの内部ログへのアクセスを必要とせずにトレース可能にする、ポストホックな透かしアルゴリズムである。 実験結果から,SimMark は LLM 生成コンテンツのロバストな透かしのための新しいベンチマークを作成した。
  論文  参考訳（メタデータ） (2025-02-05T00:21:01Z)
• MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
  MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。 評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2024-05-16T12:40:01Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• Topic-Based Watermarks for Large Language Models [46.71493672772134]
  本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。 本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers [67.57928750537185]
  TokenMarkは、事前訓練されたモデルに対する頑健で、モダリティに依存しない、堅牢な透かしシステムである。 予めトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 これはモデル透かしの堅牢性、効率、普遍性を著しく改善する。
  論文  参考訳（メタデータ） (2024-03-09T08:54:52Z)
• On the Learnability of Watermarks for Language Models [80.97358663708592]
  言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。 本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。 モデルは、高い検出性で透かし付きテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T17:41:44Z)
• Revisiting Topic-Guided Language Models [20.21486464604549]
  4つのトピック誘導言語モデルと2つのベースラインについて検討し、4つのコーパス上で各モデルの保留予測性能を評価する。 これらの手法はいずれも標準のLSTM言語モデルのベースラインを上回りません。
  論文  参考訳（メタデータ） (2023-12-04T20:33:24Z)
• Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection [1.4779899760345434]
  本研究では,(1)微調整言語モデルと(2)チェック価値のあるクレーム検出タスクにおける大規模言語モデルの性能を比較した。 様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
  論文  参考訳（メタデータ） (2023-11-10T15:36:35Z)
• ClearMark: Intuitive and Robust Model Watermarking via Transposed Model Training [50.77001916246691]
  本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。 ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。 8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
  論文  参考訳（メタデータ） (2023-10-25T08:16:55Z)
• REMARK-LLM: A Robust and Efficient Watermarking Framework for Generative Large Language Models [16.243415709584077]
  大規模言語モデル(LLM)のための新しい効率的で堅牢な透かしフレームワークREMARK-LLMを提案する。 ReMARK-LLMは、透かしのある内容における意味的整合性の保存を促進するために厳格に訓練されている。 透かしの検出と除去攻撃に対してより優れたレジリエンスを示す。
  論文  参考訳（メタデータ） (2023-10-18T22:14:37Z)
• Watermarking LLMs with Weight Quantization [61.63899115699713]
  本稿では,大規模言語モデルの量子化過程に透かしを植え付ける新しい透かし戦略を提案する。 GPT-Neo や LLaMA など,オープンソースの大規模言語モデルに透かしを組み込むことに成功した。
  論文  参考訳（メタデータ） (2023-10-17T13:06:59Z)
• A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
  本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。 現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。 言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
  論文  参考訳（メタデータ） (2023-10-11T17:57:35Z)
• Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
  コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。 各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
  論文  参考訳（メタデータ） (2023-06-02T17:59:09Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。