論文の概要: Watermarkable Multi-Draft Speculative Sampling via Poisson Processes

• arxiv url: http://arxiv.org/abs/2609.21858v1
• Date: Fri, 18 Sep 2026 14:52:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.154246
• Title: Watermarkable Multi-Draft Speculative Sampling via Poisson Processes
• Title（参考訳）: ポアソンプロセスによる透かし可能なマルチドラフト投機サンプリング
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって最先端のパフォーマンスを達成し、デプロイメントの2つの重要な側面である推論効率と出力前兆を動機付けている。 最近の研究は、これらの2つの目標を組み合わせることは極めて非自明であり、潜在的に不可能であることを示している。 我々は,この基本的なトレードオフのフロンティアを改善するため,Poissonプロセスに基づく新しいマルチドラフト投機的サンプリングアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 42.11932913363878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved state-of-the-art performance across a wide range of tasks, motivating two important aspects of deployment: inference efficiency and output provenance, which can be tackled by speculative sampling and watermarking, respectively. However, recent works have shown that combining these two goals is highly nontrivial and can be potentially impossible. In this work, we develop a novel multi-draft speculative sampling algorithm based on Poisson processes that improves the frontier of this fundamental trade-off. The proposed algorithm has strong sampling efficiency on its own and, more interestingly, is naturally watermarkable: we can embed an unbiased watermark without degrading speculative acceptance. Moreover, our algorithm is based on an exact list-coupling-without-communication scheme, which yields a drafter invariance property that benefits both sampling and watermarking. It is the first multi-draft, drafter-invariant speculative sampling scheme that maintains both watermark strength and sampling efficiency, and we experimentally verify its strong performance in both aspects.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって最先端のパフォーマンスを達成し、投機的サンプリングとウォーターマーキングの2つの重要なデプロイメントの側面を動機付けている。 しかし、最近の研究は、これらの2つの目標を組み合わせることは極めて非自明であり、潜在的に不可能であることを示した。 本研究では,この基本トレードオフのフロンティアを改善するため,Poissonプロセスに基づく新しいマルチドラフト投機的サンプリングアルゴリズムを開発する。 提案アルゴリズムは強いサンプリング効率を持ち、より興味深いことに自然に透かしがあり、投機的受容を低下させることなく、偏りのない透かしを埋め込むことができる。 さらに,本アルゴリズムは,サンプリングと透かしの双方の利点を生かした,正確なリスト結合型通信方式に基づいている。 透かし強度とサンプリング効率の両方を維持できる最初のマルチドラフト・ドラフト不変な投機的サンプリングスキームであり、両面においてその強い性能を実験的に検証する。

関連論文リスト

• WaterMoE: Expert-Routing-based Watermarking for High Fidelity and Efficiency [0.0]
  大規模言語モデル(LLM)は目覚ましい成功を収めているが、コンテンツの出所や誤用に対する懸念が高まっている。 WaterMoEは制御された摂動を通して透かし信号を各ルータのエキスパートセレクションに埋め込む。 WaterMoEは、ベンチマークで最先端の透かしメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-07-14T06:18:05Z)
• A Unified Framework for LLM Watermarks [9.515480957792542]
  本稿では,既存の透かし方式のほとんどを,原則的制約付き最適化問題から導出できることを示す。 我々のフレームワークはまた、特定の要求に合わせた新しい透かし方式を設計するための原則的なアプローチも提供する。
  論文  参考訳（メタデータ） (2026-02-06T15:00:30Z)
• Improve the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models [18.988823703120865]
  投機的サンプリングは推論を加速し、受容率が増加するにつれて効率が向上する。 高い透かし強度は受け入れを減らし、同時に達成するのを防ぐ。 本稿では,トークンが擬似乱数の決定論的関数である場合に最大化される統計的検出可能性を管理する透かし強度の測定手法を提案する。
  論文  参考訳（メタデータ） (2026-02-01T20:30:59Z)
• Watermarks for Language Models via Probabilistic Automata [54.687037560547765]
  確率的オートマトンによって構築された新しいタイプの透かし方式を導入する。 i)指数的生成の多様性と計算効率の実践的スキーム,および(ii)暗号的仮定の下での形式的検出不可能性を保証する理論的構成を示す。
  論文  参考訳（メタデータ） (2025-12-11T00:49:06Z)
• Towards Optimal Multi-draft Speculative Decoding [102.67837141152232]
  MDSD(Multi-Draft Speculative Decoding)は、各トークンを生成する際に、小さなドラフトモデルで複数のドラフトを生成する手法である。 本稿では、最適輸送問題の双対性について論じ、最適受容率を効率的に計算する方法を提供する。
  論文  参考訳（メタデータ） (2025-02-26T03:22:44Z)
• Inevitable Trade-off between Watermark Strength and Speculative Sampling Efficiency for Language Models [63.450843788680196]
  最大透かし強度と最高サンプリング効率を同時に維持することは不可能である。 本研究では,サンプリング効率と透かし強度を両立させる2つの手法を提案する。 我々の研究は、透かし強度とサンプリング効率の本質的にのトレードオフを理解するための厳密な理論基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-27T12:00:19Z)
• Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [53.32564762183639]
  大規模言語モデル(LLM)の透かしのための新しい統一的理論フレームワークを導入する。 本研究の目的は,最悪の偽陽性率(FPR)の制御とテキスト品質の歪みを維持しつつ,検出性能を最大化することである。 モデル非依存と効率性に代えて代理モデルを利用する歪みのない分散適応型透かしアルゴリズム(DAWA)を提案する。
  論文  参考訳（メタデータ） (2024-10-03T18:28:10Z)
• TokenMark: A Modality-Agnostic Watermark for Pre-trained Transformers [67.57928750537185]
  TokenMarkは、事前訓練されたモデルに対する頑健で、モダリティに依存しない、堅牢な透かしシステムである。 予めトレーニングされたモデルを、特別に置換されたデータサンプルのセットに微調整することで、透かしを埋め込む。 これはモデル透かしの堅牢性、効率、普遍性を著しく改善する。
  論文  参考訳（メタデータ） (2024-03-09T08:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。