論文の概要: LR-DWM: Efficient Watermarking for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2601.12376v1
- Date: Sun, 18 Jan 2026 12:08:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.604074
- Title: LR-DWM: Efficient Watermarking for Diffusion Language Models
- Title（参考訳）: LR-DWM:拡散言語モデルのための効率的な透かし
- Authors: Ofek Raban, Ethan Fetaya, Gal Chechik,
- Abstract要約: Diffusion Language Models (DLMs) は、非逐次反復記述によるテキストを生成する。
近年の研究では、DLMを透かし、必要な時に処理を反転させることが提案されているが、計算やメモリのオーバーヘッドがかなり大きい。
本稿では,左隣と右隣の両方に基づいて生成されたトークンをバイアスする左隣拡散透かし(LR-DWM)を導入する。
- 参考スコア（独自算出の注目度）: 40.70709965738489
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Watermarking (WM) is a critical mechanism for detecting and attributing AI-generated content. Current WM methods for Large Language Models (LLMs) are predominantly tailored for autoregressive (AR) models: They rely on tokens being generated sequentially, and embed stable signals within the generated sequence based on the previously sampled text. Diffusion Language Models (DLMs) generate text via non-sequential iterative denoising, which requires significant modification to use WM methods designed for AR models. Recent work proposed to watermark DLMs by inverting the process when needed, but suffers significant computational or memory overhead. We introduce Left-Right Diffusion Watermarking (LR-DWM), a scheme that biases the generated token based on both left and right neighbors, when they are available. LR-DWM incurs minimal runtime and memory overhead, remaining close to the non-watermarked baseline DLM while enabling reliable statistical detection under standard evaluation settings. Our results demonstrate that DLMs can be watermarked efficiently, achieving high detectability with negligible computational and memory overhead.
- Abstract（参考訳）: ウォーターマーキング(Watermarking, WM)は、AI生成コンテンツの検出と帰属のための重要なメカニズムである。
現在のLarge Language Models (LLM) は、主に自己回帰(AR)モデルに適合している: トークンを逐次生成し、以前にサンプリングしたテキストに基づいて、安定した信号を生成されたシーケンスに埋め込む。
Diffusion Language Models (DLM) は、ARモデル用に設計されたWMメソッドを使用するために、大幅な修正を必要とする、非逐次反復的記述によるテキストを生成する。
近年の研究では、DLMを透かし、必要な時に処理を反転させることが提案されているが、計算やメモリのオーバーヘッドがかなり大きい。
本稿では,左隣と右隣の両方で生成トークンをバイアスする左隣拡散透かし(LR-DWM)を導入する。
LR-DWMは最小限のランタイムとメモリオーバーヘッドを発生させ、非透かしベースラインDLMに近づきながら、標準評価設定下で信頼性の高い統計的検出を可能にする。
その結果,DLMを効率よく透かし,計算やメモリのオーバーヘッドを無視して高い検出性を実現することができた。
関連論文リスト
- DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。
推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。
従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
論文 参考訳（メタデータ） (2025-11-11T12:00:09Z) - DMark: Order-Agnostic Watermarking for Diffusion Large Language Models [46.07844536066178]
拡散大言語モデル(dLLM)は、同等の品質を維持しながら、自己回帰モデルよりも高速な生成を提供する。
DMarkは、dLLM用に特別に設計された最初の透かしフレームワークである。
論文 参考訳（メタデータ） (2025-10-03T11:14:16Z) - Watermarking Diffusion Language Models [9.515480957792542]
拡散言語モデル(DLM)に適した最初の透かしを導入する。
これは、トークンを逐次生成する標準自己回帰言語モデル(ARLM)とは対照的に、任意の順序でトークンを生成できる創発的LLMパラダイムである。
論文 参考訳（メタデータ） (2025-09-29T07:11:40Z) - Yet Another Watermark for Large Language Models [20.295405732813748]
既存の大規模言語モデル(LLM)の透かし手法は、トークンサンプリング予測や後処理を調整することで透かしを埋め込む。
本稿では, LLMの内部パラメータを操作することで, LLMの内部に透かしを埋め込む新しい透かしフレームワークを提案する。
提案手法は, 透かしの頑健さと非受容性のバランスを良くするため, LLMの固有パラメータと透かしの絡み合わせを行う。
論文 参考訳（メタデータ） (2025-09-16T02:04:55Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models [4.069844339028727]
SimMarkは、大規模言語モデル(LLM)のための堅牢な文レベルの透かしアルゴリズムである。
検出可能な統計的パターンを組み込んでおり、ソフトカウント機構を採用している。
我々は,LLM生成コンテンツのロバストな透かしのための新しいベンチマークをSimMarkが設定していることを示す。
論文 参考訳（メタデータ） (2025-02-05T00:21:01Z) - A Watermark for Order-Agnostic Language Models [55.89285889529492]
Pattern-markは、順序に依存しないLM用に特別に設計されたパターンベースの透かしフレームワークである。
我々は,高周波鍵パターンを持つ透かしキー列を生成するマルコフチェーン型透かし生成器を開発した。
タンパク質MPNN や CMLM などの順序に依存しない LM の評価では,パターンマークによる検出効率の向上,生成品質,ロバスト性などが示されている。
論文 参考訳（メタデータ） (2024-10-17T17:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。