論文の概要: SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking
- arxiv url: http://arxiv.org/abs/2604.22438v1
- Date: Fri, 24 Apr 2026 10:55:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.431638
- Title: SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking
- Title（参考訳）: SSG:LLMウォーターマーキングのためのロジトベース語彙分割
- Abstract要約: KGWスキームは、自然言語生成の汎用性、効率性、有効性のために特に魅力的である。
しかし、KGWの有効性は、コード生成や数学的推論のような低エントロピー設定下で著しく低下する。
本稿では,語彙を2つのロジットバランス部分集合に分割するSSGを提案する。
- 参考スコア（独自算出の注目度）: 3.881996954876714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Watermarking has emerged as a promising technique for tracing the authorship of content generated by large language models (LLMs). Among existing approaches, the KGW scheme is particularly attractive due to its versatility, efficiency, and effectiveness in natural language generation. However, KGW's effectiveness degrades significantly under low-entropy settings such as code generation and mathematical reasoning. A crucial step in the KGW method is random vocabulary partitioning, which enables adjustments to token selection based on specific preferences. Our study revealed that the next-token probability distribution plays an critical role in determining how much, or even whether, we can modify token selection and, consequently, the effectiveness of watermarking. We refer to this characteristic, associated with the probability distribution of each token prediction, as \emph{watermark strength.} In cases of random vocabulary partitioning, the lower bound of watermark strength is dictated by the next-token probability distribution. However, we found that, by redesigning the vocabulary partitioning algorithm, we can potentially raise this lower bound. In this paper, we propose SSG (\textbf{S}ort-then-\textbf{S}plit by \textbf{G}roups), a method that partitions the vocabulary into two logit-balanced subsets. This design lifts the lower bound of watermark strength for each token prediction, thereby improving watermark detectability. Experiments on code generation and mathematical reasoning datasets demonstrate the effectiveness of SSG.
- Abstract（参考訳）: ウォーターマーキングは,大規模言語モデル(LLM)が生成するコンテンツのオーサシップをトレースする,有望な手法として登場した。
既存のアプローチの中で、KGWスキームは、自然言語生成の汎用性、効率、有効性のために特に魅力的である。
しかし、KGWの有効性はコード生成や数学的推論のような低エントロピー設定下で著しく低下する。
KGW法における重要なステップはランダムな語彙分割であり、特定の好みに基づいてトークンの選択を調整することができる。
その結果,次の確率分布はトークンの選択をどの程度変更できるかを判断する上で重要な役割を担っていることが明らかとなり,その結果,透かしの有効性が示唆された。
この特徴を,各トークン予測の確率分布に関連づけて,'emph{watermark strength'と呼ぶ。
ランダムな語彙分割の場合,次の確率分布によって透かし強度の低い境界が決定される。
しかし、語彙分割アルゴリズムを再設計することで、この低い境界を高くすることができることがわかった。
本稿では,語彙を2つのロジット均衡部分集合に分割するSSG(\textbf{S}ort-then-\textbf{S}plit by \textbf{G}roups)を提案する。
この設計は各トークン予測に対する透かし強度の低い境界を引き上げ、透かし検出性を向上させる。
コード生成と数学的推論データセットの実験は、SSGの有効性を示す。
関連論文リスト
- Optimal Watermark Localization in Mixed-Source Large Language Model Texts [41.92651100461471]
ウォーターマーキングは、大きな言語モデル(LLM)によって生成されるテキストを認証する原則的な方法を提供する。
実際には、最終文は混ざり合っており、透かしの証拠は書き直し、挿入、削除、またはパラフレージングの後にトークンの位置のサブセットにしか残っていない。
我々は,各位置における透かし依存が残存するかどうかを示す潜在指標を用いて,座標統計に基づくトークンレベルの多重検定問題として局所化を定式化する。
論文 参考訳（メタデータ） (2026-08-14T21:41:50Z) - PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints [49.2373408329323]
大規模言語モデル(LLM)のための透かしレベル(SWM)に関する新しい理論フレームワークを提案する。
PMarkは単純だが強力なSWM手法であり、サンプリングチャネルを通して中央値の次文を動的に推定する。
実験結果から,PMarkはテキスト品質とパラフレージングの両方において,既存のSWMベースラインを一貫して上回ることがわかった。
論文 参考訳（メタデータ） (2025-09-25T12:08:31Z) - Debiasing Watermarks for Large Language Models via Maximal Coupling [24.937491193018623]
本稿では,グリーントークンの生成確率を微妙に増大させる新しいグリーン/レッドリスト透かし手法を提案する。
実験結果から,高い検出性を維持しつつテキスト品質を保ちつつ,従来技術よりも優れていたことが示唆された。
本研究は,テキスト品質への影響を最小限に抑えつつ,効果的な検出のバランスを保ちながら,言語モデルに有望な透かしソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-17T23:36:37Z) - Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳（メタデータ） (2024-03-26T09:25:57Z) - Dynamically Allocated Interval-Based Generative Linguistic Steganography with Roulette Wheel [10.72286166021398]
既存の言語ステガノグラフィースキームは、しばしば候補プール内のトークンの条件付き確率(CP)を見落としている。
本稿では, DAIRstegaと呼ばれる, 割り当てられた間隔に基づくスキームを提案する。
論文 参考訳（メタデータ） (2024-01-28T13:21:44Z) - Downstream Trade-offs of a Family of Text Watermarks [25.408313192999504]
多様なタスク群に対する3つの異なる戦略を用いて,LLMの性能評価を行った。
電子透かしは全てのタスクにおいて LLM の有効性を著しく低下させる可能性がある。
この結果から,透かしモデルを用いた場合,ユーザが認識すべきトレードオフが浮き彫りになった。
論文 参考訳（メタデータ） (2023-11-16T11:44:58Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳（メタデータ） (2023-11-16T08:36:00Z) - A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。
現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。
言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
論文 参考訳（メタデータ） (2023-10-11T17:57:35Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳（メタデータ） (2023-10-06T03:33:42Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-24T11:49:52Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳（メタデータ） (2023-05-14T07:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。