論文の概要: Look It Up: Multi-bit LLM Watermarking via Codebook Search
- arxiv url: http://arxiv.org/abs/2611.16890v1
- Date: Thu, 12 Nov 2026 14:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.490511
- Title: Look It Up: Multi-bit LLM Watermarking via Codebook Search
- Title(参考訳): コードブック検索によるマルチビットLCM透かし
- Abstract要約: 我々は,$n$ビットのペイロードを,より長い$u$ビットのコードワードにマッピングするコードブックベースの透かし方式を提案する。
抽出中、受信したビットシーケンスは秘密コードブックの最も近いコードワードにマッチする。
実験により,200世代における16-24ビットペイロードのほぼ完全回復が得られた。
- 参考スコア(独自算出の注目度): 0.6998563912006451
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attributing short LLM-generated texts to a specific source remains challenging for existing multi-bit watermarking methods, which often require long generations or costly decoding to recover payloads reliably. We propose a codebook-based watermarking scheme that maps an $n$-bit payload to a longer $u$-bit codeword and embeds it during generation through token-level logit biasing. During extraction, the received bit sequence is matched to the nearest codeword in a precomputed secret codebook using Hamming or Levenshtein distance. Experiments show that our method achieves near-perfect recovery for 16-24 bit payloads on 200-token generations and strong performance on 127-token generations for base models. Results are weaker on some instruction-tuned models with very short texts, where low-entropy output distributions reduce embedding reliability. We also study a BCH-based variant that avoids codebook storage but generally reduces robustness. The Levenshtein variant improves resilience to deletions and light paraphrasing, while insertions and stronger rewrites remain challenging. We analyze collision probability, codeword separation, extraction time, tokenization consistency, and text quality, highlighting both the practicality and limitations of codebook-based watermarking for short-form attribution.
- Abstract(参考訳): LLM生成した短いテキストを特定のソースにアトリビュートすることは、ペイロードを確実に回収するために長い世代やコストのかかる、既存のマルチビット透かし方式では依然として困難である。
我々は,$n$-bitペイロードをより長い$u$-bitのコードワードにマッピングし,トークンレベルのロジットバイアスによって生成中に埋め込むコードブックベースの透かし方式を提案する。
抽出中、受信したビットシーケンスは、ハミングまたはレヴェンシュテイン距離を用いて予め計算された秘密コードブックの最も近いコードワードにマッチする。
実験により,200世代における16-24ビットペイロードのほぼ完全回復と,127世代におけるベースモデルの性能向上が得られた。
非常に短いテキストを持つ命令調整モデルでは、低エントロピー出力分布により埋め込み信頼性が低下する。
また、コードブックストレージを避けるが、一般にロバスト性を低下させるBCHベースの変種についても検討する。
レヴェンシュテイン変種は、欠失に対する弾力性と軽いパラフレージングを改善し、挿入と強い書き直しは依然として困難なままである。
我々は衝突確率、コードワード分離、抽出時間、トークン化一貫性、テキスト品質を分析し、短文属性に対するコードブックベースの透かしの実用性と限界を強調した。
関連論文リスト
- BARQ: Balanced Codebook Refinement for Low-Bit LLM Quantization [46.64897508613697]
本稿では,既存のコードブックの平衡フィッティングによる量子化品質の向上を目的とした,量子化のための平衡割当てリファインメントを提案する。
代入重み付けされたバリセントリックな更新によってコードワードを洗練し、固定された代入に適合する目的を最小化することを証明する。
複数の言語モデル全体で、BARQは評価されたベースラインよりも低いパープレキシティと平均ゼロショット精度を達成する。
論文 参考訳(メタデータ) (2026-10-03T12:45:15Z) - PURA: Provably Unbiased and Robust Multi-Bit Watermarking for AI-Generated Text Attribution [83.66032773976904]
PURAは、テキスト属性に対する不偏で頑健なマルチビット透かし方式である。
PURAはトークンの確率を直接摂動するのではなく、鍵付き逆変換サンプリングによって潜在サンプリング空間にペイロードを埋め込む。
PURAは、高負荷体制において、既存の非バイアスベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2026-08-23T04:44:27Z) - XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts [11.826762642822219]
textscXMarkは、LLM(Large Language Model)で生成されたテキストでバイナリメッセージをエンコードしデコードするための新しい方法である。
textscXMarkは、透かし付きテキストの品質を維持しながらデコード精度を著しく改善し、従来の方法よりも優れている。
論文 参考訳(メタデータ) (2026-04-06T23:08:01Z) - Rectified Sparse Attention [61.7702154360081]
効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。
本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。
数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
論文 参考訳(メタデータ) (2025-06-04T16:01:48Z) - ObscuraCoder: Powering Efficient Code LM Pre-Training Via Obfuscation Grounding [60.37988508851391]
言語モデル(LM)は、コード記述ツールボックスのベースとなっている。
Code-LMの事前学習目標の変更を探求する研究は、データ効率の向上と構文とセマンティクスの相互接続性の向上を目的としており、顕著に不十分である。
本研究では,Code-LMが表面的な構文を超越し,事前学習したサンプルの効率を高めるために,難読化コードの基盤について検討する。
論文 参考訳(メタデータ) (2025-03-27T23:08:53Z) - Provably Robust Multi-bit Watermarking for AI-generated Text [37.21416140194606]
大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する顕著な能力を示した。
犯罪者が偽ニュースやフィッシングメールなどの偽装コンテンツを作成するために悪用することもある。
ウォーターマーキングはこれらの懸念に対処するための重要なテクニックであり、メッセージをテキストに埋め込む。
論文 参考訳(メタデータ) (2024-01-30T08:46:48Z) - Advancing Beyond Identification: Multi-bit Watermark for Large Language Models [31.066140913513035]
機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。
言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
論文 参考訳(メタデータ) (2023-08-01T01:27:40Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-24T11:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。