論文の概要: Distributional Information Embedding: A Framework for Multi-bit Watermarking

• arxiv url: http://arxiv.org/abs/2501.16558v1
• Date: Mon, 27 Jan 2025 23:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:41.494356
• Title: Distributional Information Embedding: A Framework for Multi-bit Watermarking
• Title（参考訳）: 分散情報埋め込み:マルチビット透かしのためのフレームワーク
• Authors: Haiyun He, Yepeng Liu, Ziqiao Wang, Yongyi Mao, Yuheng Bu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)における透かしの実践的要求に動機づけられた,分散情報埋め込みという新たな問題を紹介する。 この分布情報埋め込み問題を解析するための情報理論フレームワークを開発する。 誤報や歪みの制約に固執しながら検出確率を最大化するスキームを同定する。
• 参考スコア（独自算出の注目度）: 35.319577498993354
• License:
• Abstract: This paper introduces a novel problem, distributional information embedding, motivated by the practical demands of multi-bit watermarking for large language models (LLMs). Unlike traditional information embedding, which embeds information into a pre-existing host signal, LLM watermarking actively controls the text generation process--adjusting the token distribution--to embed a detectable signal. We develop an information-theoretic framework to analyze this distributional information embedding problem, characterizing the fundamental trade-offs among three critical performance metrics: text quality, detectability, and information rate. In the asymptotic regime, we demonstrate that the maximum achievable rate with vanishing error corresponds to the entropy of the LLM's output distribution and increases with higher allowable distortion. We also characterize the optimal watermarking scheme to achieve this rate. Extending the analysis to the finite-token case, we identify schemes that maximize detection probability while adhering to constraints on false alarm and distortion.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)に対するマルチビット透かしの実践的要求に動機づけられた,分散情報埋め込みという新たな問題を紹介する。 既存のホスト信号に情報を埋め込む従来の情報埋め込みとは異なり、LLM透かしは、トークンの分布を調整して検出可能な信号を埋め込む、テキスト生成プロセスを積極的に制御する。 我々は,この分散情報埋め込み問題を分析するための情報理論フレームワークを開発し,テキスト品質,検出可能性,情報レートの3つの重要なパフォーマンス指標の基本的なトレードオフを特徴付ける。 漸近的な状態下では,消失誤差による最大到達率はLLMの出力分布のエントロピーに対応し,高い許容歪みで増大することを示す。 このレートを達成するために最適な透かし方式も特徴付ける。 有限トーケンケースに解析を拡張し、誤報や歪みの制約に固執しながら検出確率を最大化するスキームを同定する。

関連論文リスト

• GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
  GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。 GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
  論文  参考訳（メタデータ） (2025-01-17T22:30:08Z)
• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [35.319577498993354]
  大規模言語モデル(LLM)の透かしのための新しい理論的枠組みを提案する。 本手法は,最悪のType-Iエラーとテキスト歪みの制御を維持しつつ,検出性能の最大化に重点を置いている。 本稿では,Gumbel-max の手法と並行してサロゲートモデルを用いた,効率的かつモデルに依存しない分布適応型透かしアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-03T18:28:10Z)
• Learnable Linguistic Watermarks for Tracing Model Extraction Attacks on Large Language Models [20.44680783275184]
  モデル抽出攻撃に対する現在の透かし技術は、モデルロジットの信号挿入や生成されたテキストの後処理に依存している。 大規模言語モデル(LLM)に学習可能な言語透かしを埋め込む新しい手法を提案する。 制御ノイズをトークン周波数分布に導入し,統計的に識別可能な透かしを埋め込むことにより,LLMの出力分布を微調整する。
  論文  参考訳（メタデータ） (2024-04-28T14:45:53Z)
• WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models [36.92452515593206]
  本稿では, フレキシブルなNLG評価フレームワークである比較評価を, 特定の透かし設定による品質劣化を評価するための簡易解析フレームワークを提案する。 われわれのフレームワークは、透かし設定の品質-検出トレードオフを簡単に可視化できることを実証する。 このアプローチは2つの異なる要約システムと翻訳システムに適用され、タスクのクロスモデル解析とクロスタスク解析を可能にした。
  論文  参考訳（メタデータ） (2024-03-28T16:28:38Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck [4.2903672492917755]
  フレキシビリティを提供するメカニズムとしてスペーサを用いた,スペーサ誘導型スパイクスラブを新たに提案する。 提案手法は従来の固定比例前の手法と比較して精度とロバスト性を向上することを示す。
  論文  参考訳（メタデータ） (2022-03-04T22:22:51Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。