論文の概要: Linguistics-Aware Non-Distortionary LLM Watermarking
- arxiv url: http://arxiv.org/abs/2606.00613v1
- Date: Sat, 30 May 2026 08:29:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.558038
- Title: Linguistics-Aware Non-Distortionary LLM Watermarking
- Title（参考訳）: 言語学から見た非歪みLLM透かし
- Abstract要約: LUNAは言語適応型透かしであり,モデルなし検出と単点非歪みを併用する。
類型的に多様な言語と2つのドメインを8つの一次ベースラインに対して評価した。
- 参考スコア（独自算出の注目度）: 7.639828194398494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Watermarking should identify language-model output without degrading quality or limiting verification to the model provider. Multilingual deployment makes this harder because morphology, segmentation, and script change where watermark evidence can enter naturally. We introduce LUNA, a linguistically adaptive watermark that combines model-free detection with single-token non-distortion under the standard random-key model. LUNA estimates normalized next-tag entropy from part-of-speech contexts in an external corpus and uses it to set the depth of a non-distortionary binary tournament sampler; the detector reconstructs the same schedule from text, a tokenizer, a tagger, and a secret key. We evaluate six typologically diverse languages and two domains against eight primary baselines. LUNA attains an AUROC of 0.9959 and the lowest mean absolute median perplexity shift of 0.045 across the twelve settings; its 95% bootstrap interval [0.022, 0.073] lies below all baseline intervals. LUNA also records the lowest mean Self-BLEU, Distinct-1, surprisal, and entropy shifts. It is the only method that simultaneously achieves AUROC > 0.99 and an absolute median perplexity shift below 0.1 in a majority of settings, reaching this regime in 9 of the 12 settings while no baseline reaches it in more than 2. Our code is available at: https://github.com/Shinwoo-Park/luna_watermark
- Abstract（参考訳）: ウォーターマーキングは、品質を低下させたり、モデルのプロバイダに検証を制限することなく、言語モデル出力を特定するべきである。
ウォーターマークエビデンスを自然に入力できる形態、セグメンテーション、スクリプトを変更するため、多言語展開がこれを難しくする。
LUNAは、標準ランダムキーモデルの下で、モデルフリー検出とシングルトーケン非歪みを組み合わせた言語適応型透かしである。
LUNAは、外部コーパス内の音声コンテキストから正規化された次のタグエントロピーを推定し、それを非歪なバイナリトーナメントサンプリング器の深さを設定するために使用し、検出器はテキスト、トークンー、タグ、秘密鍵から同じスケジュールを再構築する。
類型的に多様な言語と2つのドメインを8つの一次ベースラインに対して評価した。
LUNA は AUROC が 0.9959 に達し、12 つの設定で 0.045 の平均絶対中等度パープレキシティシフトは 95% のブートストラップ間隔 [0.022, 0.073] が全てのベースライン間隔より下にある。
LUNAは、平均的な自己BLEU, Distinct-1, sprisal, エントロピーシフトも記録している。
AUROC > 0.99を同時に達成し、多くの設定では0.1未満の絶対中央値のパープレキシティシフトを同時に達成する唯一の方法であり、12設定のうち9設定でこの状態に到達し、ベースラインが2以上に達することはない。
私たちのコードは、https://github.com/Shinwoo-Park/luna_watermarkで利用可能です。
関連論文リスト
- Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection [41.84508763512439]
TextSealは、大規模な言語モデルのための最先端の透かしである。
Gumbel-maxサンプリングに基づいて、TextSealは出力の多様性を回復するためにデュアルキー生成を導入している。
投機的復号化やマルチトークン予測などの最適化もサポートしている。
論文 参考訳（メタデータ） (2026-05-12T17:44:41Z) - Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion [14.692250535148196]
拡散言語モデル(DLM)は並列で順序に依存しない生成を約束するが、歴史的にはサンプルの品質と多様性において自己回帰モデルに遅れを取ってきた。
トークン埋め込みに対する最近の連続流れと拡散アプローチは、このギャップを狭め、連続状態空間が言語に非常に有効であることを示唆している。
本研究では,テキストを固定幅のバイナリビットストリーム上での連続拡散プロセスとしてモデル化することにより,自己回帰的ギャップをさらに埋める。
論文 参考訳（メタデータ） (2026-05-07T22:50:51Z) - From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。
本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。
ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
論文 参考訳（メタデータ） (2025-10-18T02:11:50Z) - Optimized Couplings for Watermarking Large Language Models [8.585779208433465]
大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。
本稿では,テキスト透かしをワンショットで解析する。
論文 参考訳（メタデータ） (2025-05-13T18:08:12Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [72.97553348776425]
スーパーバイザード・ファインチューニング (SFT) LMの能力に影響を与えることなく、ほとんどのデルタパラメータを設定するためにDAREを導入する。
次に、DAREを汎用プラグインとして使用し、複数のSFTモデルのデルタパラメータを分散し、それらを単一のモデルにマージする。
また、DAREを使用して、Open Leaderboardで70億のパラメータを持つモデルの中で、第1位にランクインした統合LMを作成します。
論文 参考訳（メタデータ） (2023-11-06T13:43:07Z) - Robust Distortion-free Watermarks for Language Models [85.55407177530746]
本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。
言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
論文 参考訳（メタデータ） (2023-07-28T14:52:08Z) - Nonparametric Masked Language Modeling [113.71921977520864]
既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。
NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。
NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
論文 参考訳（メタデータ） (2022-12-02T18:10:42Z) - L-Vector: Neural Label Embedding for Domain Adaptation [62.112885747045766]
本研究では、未ペアデータを用いたディープニューラルネットワーク(DNN)音響モデルの領域適応のための新しいニューラルラベル埋め込み(NLE)手法を提案する。
NLEは1ホットラベルによる直接再トレーニングよりも14.1%の相対的な単語誤り率の低減を実現している。
論文 参考訳（メタデータ） (2020-04-25T06:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。