論文の概要: Semantic Differentiation for Tackling Challenges in Watermarking Low-Entropy Constrained Generation Outputs

• arxiv url: http://arxiv.org/abs/2601.11629v1
• Date: Wed, 14 Jan 2026 03:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.224808
• Title: Semantic Differentiation for Tackling Challenges in Watermarking Low-Entropy Constrained Generation Outputs
• Title（参考訳）: 透かしによる低エントロピー制約出力のセマンティック差分法
• Authors: Nghia T. Le, Alan Ritter, Kartik Goyal,
• Abstract要約: SeqMarkは意味分化を伴うシーケンスレベルの透かしアルゴリズムである。 出力品質、透かし検出性、認識不能性のバランスをとる。 一般的なトークンレベルの透かしアルゴリズムの欠点を改善する。
• 参考スコア（独自算出の注目度）: 23.238896100368876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We demonstrate that while the current approaches for language model watermarking are effective for open-ended generation, they are inadequate at watermarking LM outputs for constrained generation tasks with low-entropy output spaces. Therefore, we devise SeqMark, a sequence-level watermarking algorithm with semantic differentiation that balances the output quality, watermark detectability, and imperceptibility. It improves on the shortcomings of the prevalent token-level watermarking algorithms that cause under-utilization of the sequence-level entropy available for constrained generation tasks. Moreover, we identify and improve upon a different failure mode we term region collapse, associated with prior sequence-level watermarking algorithms. This occurs because the pseudorandom partitioning of semantic space for watermarking in these approaches causes all high-probability outputs to collapse into either invalid or valid regions, leading to a trade-off in output quality and watermarking effectiveness. SeqMark instead, differentiates the high-probable output subspace and partitions it into valid and invalid regions, ensuring the even spread of high-quality outputs among all the regions. On various constrained generation tasks like machine translation, code generation, and abstractive summarization, SeqMark substantially improves watermark detection accuracy (up to 28% increase in F1) while maintaining high generation quality.
• Abstract（参考訳）: 言語モデルウォーターマーキングの現在のアプローチは、オープンエンド生成には有効であるが、低エントロピー出力空間を持つ制約付き生成タスクに対するLM出力のウォーターマーキングには不十分であることを示す。 そこで我々は,セックマーク(SeqMark)というシーケンスレベルの透かしアルゴリズムを考案した。 これは、制約された生成タスクで利用可能なシーケンスレベルのエントロピーの低利用を引き起こす、一般的なトークンレベルの透かしアルゴリズムの欠点を改善する。 さらに,従来のシーケンスレベルの透かしアルゴリズムと関連する領域崩壊という,異なる障害モードを同定し,改善する。 これらの手法における意味空間の擬似ランダムな分割は、すべての高確率出力を無効領域または有効領域に分解させ、出力品質と透かしの有効性のトレードオフをもたらす。 代わりに、SeqMarkは高確率の出力部分空間を区別し、有効かつ無効な領域に分割し、すべての領域に高品質な出力が均等に広がるようにする。 機械翻訳、コード生成、抽象的な要約といった様々な制約付き生成タスクにおいて、SeqMarkは、ハイジェネレーション品質を維持しながら、ウォーターマーク検出精度(F1の最大28%向上)を大幅に改善する。

関連論文リスト

• An Ensemble Framework for Unbiased Language Model Watermarking [60.99969104552168]
  本研究では,アンサンブル・フレームワークであるENSを提案する。 ENSは複数の独立した透かしインスタンスを順次構成し、それぞれ異なるキーによって管理され、透かし信号を増幅する。 実験的な評価では、ENSは信頼できる検出に必要なトークンの数を大幅に減らし、平滑化やパラフレージング攻撃に対する耐性を高めている。
  論文  参考訳（メタデータ） (2025-09-28T19:37:44Z)
• TAG-WM: Tamper-Aware Generative Image Watermarking via Diffusion Inversion Sensitivity [76.98973481600002]
  本稿では,TAG-WMと命名されたタンパ認識画像ウォーターマーキング手法を提案する。 提案手法は、4つのキーモジュールからなる: 生成品質を保ちつつ、著作権と局所化の透かしを潜伏空間に埋め込むためのデュアルマークジョイントサンプリング (DMJS) アルゴリズム。 実験結果から,TAG-WMは歪み下においても,改質性および局所化能力の両面において最先端性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-06-30T03:14:07Z)
• Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [53.32564762183639]
  大規模言語モデル(LLM)の透かしのための新しい統一的理論フレームワークを導入する。 本研究の目的は,最悪の偽陽性率(FPR)の制御とテキスト品質の歪みを維持しつつ,検出性能を最大化することである。 モデル非依存と効率性に代えて代理モデルを利用する歪みのない分散適応型透かしアルゴリズム(DAWA)を提案する。
  論文  参考訳（メタデータ） (2024-10-03T18:28:10Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。