論文の概要: Watermarking Diffusion Language Models with Learned Foresight and Balanced Bands

• arxiv url: http://arxiv.org/abs/2610.32205v1
• Date: Fri, 23 Oct 2026 05:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.401244
• Title: Watermarking Diffusion Language Models with Learned Foresight and Balanced Bands
• Title（参考訳）: 学習した視線とバランスバンドを用いた透かし拡散言語モデル
• Abstract要約: 事前の作業は、それぞれの選択を傾け、予想されるグリーントークンの数を自力で増加させ、その隣人の位置を上昇させる。 グリーンリストとして機能し、競合する候補を分離し、null分布を正確に保持するボキャブラリバンド。 強い透かしを伴い,LLM-judgeスコアと一致しながら,1%の偽陽性率で少なくとも96%の応答を検出できた。
• 参考スコア（独自算出の注目度）: 6.954669787764089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Green-red watermarks favor tokens from a green list that a secret key derives from the preceding tokens. Diffusion language models, however, often choose a token before its preceding tokens, and the token later shapes its neighbors' green lists. Prior work therefore tilts each choice to raise the expected number of green tokens at its own and its neighbors' positions. Building on this objective, we first learn two components that prior work keeps fixed: vocabulary bands that serve as green lists, separate competing candidates and keep the null distribution exact, and a foresight predictor that estimates how each candidate shifts its neighbors' predictions. Second, we count green tokens as the detector does, once per distinct context-token pair, so repetition earns nothing. On WaterBench with LLaDA-8B-Instruct, each learned component raises the z-score at equal distortion, and their gains are nearly additive. With a strong watermark, ours detects at least 96% of responses at a 1% false-positive rate while matching the LLM-judge score of unwatermarked text. Ours also detects more responses on Dream and as many or more on code and question answering without a significant loss in task accuracy.
• Abstract（参考訳）: グリーンレッドの透かしは、シークレットキーが前のトークンに由来するグリーンリストからのトークンを好んでいる。 しかし拡散言語モデルは、しばしば前のトークンの前にトークンを選択し、トークンは後に隣人の緑色のリストを形成する。 そのため、事前の作業はそれぞれの選択を傾け、予想されるグリーントークンの数を自力で増加させ、隣人の位置を上昇させる。 この目的に基づいて、まず、グリーンリストとして機能する語彙帯域、競合する候補を分離し、ヌル分布を正確に保持する語彙帯域、各候補が隣人の予測をどのようにシフトするかを推定する事前予測器の2つのコンポーネントを学習する。 第二に、検知器のように緑色のトークンをカウントします。 LLaDA-8B-Instruct のWaterBench では、各学習した成分が等歪みでzスコアを上げ、その利得はほぼ加算的である。 強い透かしを伴い,LLM-judgeスコアと一致しながら,1%の偽陽性率で少なくとも96%の応答を検出できた。 私たちのチームは、タスクの正確さを著しく損なうことなく、Dreamやコードや質問に対する回答の数や数も検出しています。

関連論文リスト

• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• TANGO: Watermarking Masked Diffusion Language Models in Token Pairs [64.75516595651347]
  Masked-diffusion言語モデルは、マスクされた位置を平行に、固定順序で埋める。 TANGOは、マスク付き拡散言語モデルの透かしで、新しいトークンを、既にマスクされていない近くのトークンにキーする。
  論文  参考訳（メタデータ） (2026-09-28T14:08:33Z)
• ScribeTokens: Fixed-Vocabulary Tokenization of Digital Ink [0.0]
  ペンの動きを単位ピクセルステップに分解するトークン化であるScribeTokensを提案する。 手書きテキスト生成では、ScribeTokensはベクトル(17.33% vs. 70.29% CER)を劇的に上回り、トークンは生成にはるかに効果的であることを示す。 我々は、トークンベースモデル全体の認識を一貫して改善する自己教師付き事前学習戦略として、次世代の予測を導入する。
  論文  参考訳（メタデータ） (2026-03-03T09:45:49Z)
• HATS: High-Accuracy Triple-Set Watermarking for Large Language Models [12.046442787235108]
  本稿では,各復号段階における語彙を3つの集合に分割する透かしを提案する。 検出時に同じパーティションを再生し、グリーンエンリッチメントとレッドデプレクションの統計を計算し、それらを一方のzスコアに変換し、p値を集約する。 我々はLlama 2 7Bで生成、検出、テストを行い、真陽性率、偽陽性率、テキスト品質を評価した。
  論文  参考訳（メタデータ） (2025-12-22T13:23:29Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning [46.43130011147807]
  特に、トークンとボイラープレートトークンの推論は、重要性と学習の複雑さにおいて大きく異なります。 本稿では,適応トークン識別のための新しいShuffle-Aware Discriminator (SHAD)を提案する。 SHADを用いて、微調整中の推論トークンを適応的に強調するReasoning-Highlighted Fine-Tuning (RFT)法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T12:06:24Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。