論文の概要: SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

• arxiv url: http://arxiv.org/abs/2604.22438v1
• Date: Fri, 24 Apr 2026 10:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.431638
• Title: SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking
• Title（参考訳）: SSG:LLMウォーターマーキングのためのロジトベース語彙分割
• Authors: Chenxi Gu, Xiaoning Du, John Grundy,
• Abstract要約: KGWスキームは、自然言語生成の汎用性、効率性、有効性のために特に魅力的である。 しかし、KGWの有効性は、コード生成や数学的推論のような低エントロピー設定下で著しく低下する。 本稿では,語彙を2つのロジットバランス部分集合に分割するSSGを提案する。
• 参考スコア（独自算出の注目度）: 3.881996954876714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Watermarking has emerged as a promising technique for tracing the authorship of content generated by large language models (LLMs). Among existing approaches, the KGW scheme is particularly attractive due to its versatility, efficiency, and effectiveness in natural language generation. However, KGW's effectiveness degrades significantly under low-entropy settings such as code generation and mathematical reasoning. A crucial step in the KGW method is random vocabulary partitioning, which enables adjustments to token selection based on specific preferences. Our study revealed that the next-token probability distribution plays an critical role in determining how much, or even whether, we can modify token selection and, consequently, the effectiveness of watermarking. We refer to this characteristic, associated with the probability distribution of each token prediction, as \emph{watermark strength.} In cases of random vocabulary partitioning, the lower bound of watermark strength is dictated by the next-token probability distribution. However, we found that, by redesigning the vocabulary partitioning algorithm, we can potentially raise this lower bound. In this paper, we propose SSG (\textbf{S}ort-then-\textbf{S}plit by \textbf{G}roups), a method that partitions the vocabulary into two logit-balanced subsets. This design lifts the lower bound of watermark strength for each token prediction, thereby improving watermark detectability. Experiments on code generation and mathematical reasoning datasets demonstrate the effectiveness of SSG.
• Abstract（参考訳）: ウォーターマーキングは,大規模言語モデル(LLM)が生成するコンテンツのオーサシップをトレースする,有望な手法として登場した。 既存のアプローチの中で、KGWスキームは、自然言語生成の汎用性、効率、有効性のために特に魅力的である。 しかし、KGWの有効性はコード生成や数学的推論のような低エントロピー設定下で著しく低下する。 KGW法における重要なステップはランダムな語彙分割であり、特定の好みに基づいてトークンの選択を調整することができる。 その結果,次の確率分布はトークンの選択をどの程度変更できるかを判断する上で重要な役割を担っていることが明らかとなり,その結果,透かしの有効性が示唆された。 この特徴を,各トークン予測の確率分布に関連づけて,'emph{watermark strength'と呼ぶ。 ランダムな語彙分割の場合,次の確率分布によって透かし強度の低い境界が決定される。 しかし、語彙分割アルゴリズムを再設計することで、この低い境界を高くすることができることがわかった。 本稿では,語彙を2つのロジット均衡部分集合に分割するSSG(\textbf{S}ort-then-\textbf{S}plit by \textbf{G}roups)を提案する。 この設計は各トークン予測に対する透かし強度の低い境界を引き上げ、透かし検出性を向上させる。 コード生成と数学的推論データセットの実験は、SSGの有効性を示す。

関連論文リスト

• Dynamically Allocated Interval-Based Generative Linguistic Steganography with Roulette Wheel [10.72286166021398]
  既存の言語ステガノグラフィースキームは、しばしば候補プール内のトークンの条件付き確率(CP)を見落としている。 本稿では, DAIRstegaと呼ばれる, 割り当てられた間隔に基づくスキームを提案する。
  論文  参考訳（メタデータ） (2024-01-28T13:21:44Z)
• Downstream Trade-offs of a Family of Text Watermarks [25.408313192999504]
  多様なタスク群に対する3つの異なる戦略を用いて,LLMの性能評価を行った。 電子透かしは全てのタスクにおいて LLM の有効性を著しく低下させる可能性がある。 この結果から,透かしモデルを用いた場合,ユーザが認識すべきトレードオフが浮き彫りになった。
  論文  参考訳（メタデータ） (2023-11-16T11:44:58Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
  本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。 現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。 言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
  論文  参考訳（メタデータ） (2023-10-11T17:57:35Z)
• SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
  既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。 局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。 実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T03:33:42Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。