論文の概要: A Watermark for Order-Agnostic Language Models
- arxiv url: http://arxiv.org/abs/2410.13805v1
- Date: Thu, 17 Oct 2024 17:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:19:58.691724
- Title: A Watermark for Order-Agnostic Language Models
- Title（参考訳）: 順序に依存しない言語モデルのための透かし
- Authors: Ruibo Chen, Yihan Wu, Yanshuo Chen, Chenxi Liu, Junfeng Guo, Heng Huang,
- Abstract要約: Pattern-markは、順序に依存しないLM用に特別に設計されたパターンベースの透かしフレームワークである。
我々は,高周波鍵パターンを持つ透かしキー列を生成するマルコフチェーン型透かし生成器を開発した。
タンパク質MPNN や CMLM などの順序に依存しない LM の評価では,パターンマークによる検出効率の向上,生成品質,ロバスト性などが示されている。
- 参考スコア（独自算出の注目度）: 55.89285889529492
- License:
- Abstract: Statistical watermarking techniques are well-established for sequentially decoded language models (LMs). However, these techniques cannot be directly applied to order-agnostic LMs, as the tokens in order-agnostic LMs are not generated sequentially. In this work, we introduce Pattern-mark, a pattern-based watermarking framework specifically designed for order-agnostic LMs. We develop a Markov-chain-based watermark generator that produces watermark key sequences with high-frequency key patterns. Correspondingly, we propose a statistical pattern-based detection algorithm that recovers the key sequence during detection and conducts statistical tests based on the count of high-frequency patterns. Our extensive evaluations on order-agnostic LMs, such as ProteinMPNN and CMLM, demonstrate Pattern-mark's enhanced detection efficiency, generation quality, and robustness, positioning it as a superior watermarking technique for order-agnostic LMs.
- Abstract（参考訳）: 統計的透かし技術は、逐次復号化言語モデル(LM)のために確立されている。
しかし、これらの手法は順序に依存しないLMには直接適用できない。
本研究では,順序に依存しないLMに特化して設計されたパターンベースの透かしフレームワークであるPattern-markを紹介する。
我々は,高周波鍵パターンを持つ透かしキー列を生成するマルコフチェーン型透かし生成器を開発した。
これに対応して,検出中のキーシーケンスを復元し,高周波パターンのカウントに基づいて統計的検査を行う統計的パターンに基づく検出アルゴリズムを提案する。
タンパク質MPNN や CMLM などの順序依存型 LM に関する広範囲な評価は,パターンマークによる検出効率の向上,生成品質,ロバスト性を実証し,順序認識型 LM の優れた透かし技術として位置づけた。
関連論文リスト
- De-mark: Watermark Removal in Large Language Models [59.00698153097887]
我々は、n-gramベースの透かしを効果的に除去するために設計された高度なフレームワークであるDe-markを紹介する。
提案手法は,透かしの強度を評価するために,ランダム選択探索と呼ばれる新しいクエリ手法を利用する。
論文 参考訳（メタデータ） (2024-10-17T17:42:10Z) - Signal Watermark on Large Language Models [28.711745671275477]
本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。
この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。
提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
論文 参考訳（メタデータ） (2024-10-09T04:49:03Z) - Watermarking Recommender Systems [52.207721219147814]
本稿では,レコメンダシステムに特化した新しい手法であるAutoregressive Out-of-Distribution Watermarking (AOW)を紹介する。
提案手法では,初期項目の選択とオラクルモデルによるクエリを行い,その後に予測スコアの小さい項目を選択する。
透かしの有効性を評価するため、このモデルでは、切り捨てられた透かしシーケンスが与えられた後続の項目を予測することを課題とする。
論文 参考訳（メタデータ） (2024-07-17T06:51:24Z) - A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules [27.678152860666163]
我々は,透かしの統計的効率と強力な検出規則を推論するための枠組みを導入する。
枠組みに基づく透かしの最適検出規則を導出する。
論文 参考訳（メタデータ） (2024-04-01T17:03:41Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。
ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。
本手法は,検出性と意味的整合性を同時に達成する。
論文 参考訳（メタデータ） (2024-02-28T05:43:22Z) - A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。
これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。
攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
論文 参考訳（メタデータ） (2023-10-10T06:49:43Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。
両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
論文 参考訳（メタデータ） (2023-07-30T13:43:27Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-24T11:49:52Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳（メタデータ） (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。