論文の概要: Permute-and-Flip: An optimally stable and watermarkable decoder for LLMs

• arxiv url: http://arxiv.org/abs/2402.05864v3
• Date: Sat, 15 Mar 2025 04:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:57:51.520706
• Title: Permute-and-Flip: An optimally stable and watermarkable decoder for LLMs
• Title（参考訳）: Permute-and-Flip:LLMのための最適安定かつ透かし可能なデコーダ
• Authors: Xuandong Zhao, Lei Li, Yu-Xiang Wang,
• Abstract要約: 本稿では,Permute-and-Flip(PF)デコーダと呼ばれる新しいデコーダを提案する。 PFデコーダは標準サンプリングデコーダと同様の安定性を有する。 サンプリングよりも品質と安定性のトレードオフが最大で2倍向上している。
• 参考スコア（独自算出の注目度）: 38.01871178228369
• License:
• Abstract: In this paper, we propose a new decoding method called Permute-and-Flip (PF) decoder. It enjoys stability properties similar to the standard sampling decoder, but is provably up to 2x better in its quality-stability tradeoff than sampling and never worse than any other decoder. We also design a cryptographic watermarking scheme analogous to Aaronson (2023)'s Gumbel watermark, but naturally tailored for PF decoder. The watermarking scheme does not change the distribution to sample, while allowing arbitrarily low false positive rate and high recall whenever the generated text has high entropy. Our experiments show that the PF decoder (and its watermarked counterpart) significantly outperform(s) naive sampling (and its Gumbel watermarked counterpart) in terms of perplexity, while retaining the same stability (and detectability), hence making it a promising new approach for LLM decoding. The code is available at https://github.com/XuandongZhao/pf-decoding
• Abstract（参考訳）: 本稿では,Permute-and-Flip(PF)デコーダと呼ばれる新しいデコーダを提案する。 標準サンプリングデコーダと同様の安定性を保っているが、サンプリングよりも品質と安定性のトレードオフが最大2倍に向上し、他のデコーダよりも悪いことはない。 また、Aaronson (2023) の Gumbel 透かしと同様の暗号透かし方式を設計するが、自然にPFデコーダに適合する。 透かし方式は、サンプルに分布を変更せず、生成したテキストのエントロピーが高い場合、任意に低い偽陽性率と高いリコールを可能にする。 実験の結果, PFデコーダ(および透かし付き)は, 同じ安定性(および検出性)を維持しつつ, 難読性(およびガムベル透かし付き透かし)において有意に優れたサンプリング性能を示し, LLMデコーダの新たなアプローチとして期待できることがわかった。 コードはhttps://github.com/XuandongZhao/pf-decodingで入手できる。

関連論文リスト

• Robust Multi-bit Text Watermark with LLM-based Paraphrasers [19.785484664254916]
  LLMでパラフレーズを埋め込んだ、知覚不能なマルチビットテキスト透かしを提案する。 透かしを埋め込むために、2つのパラフレーズを使って文レベルで定義済みのバイナリコードをエンコードします。 我々の透かしは、小さな(1.1B)テキストパラフレーズでAUCを99.99%以上検出できることを示す。
  論文  参考訳（メタデータ） (2024-12-04T08:43:12Z)
• Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement [1.4037575966075835]
  生のオーディオの1Dフィルターは訓練が困難で、しばしば不安定に悩まされる。 これらの問題は、理論駆動とデータ駆動のアプローチを組み合わせたハイブリッドソリューションによって解決される。
  論文  参考訳（メタデータ） (2024-08-30T15:49:31Z)
• Is The Watermarking Of LLM-Generated Code Robust? [5.48277165801539]
  コードベースのコンテキストでは、ウォーターマーキングのテクニックがはるかに脆弱であることを示します。 具体的には、変数リネームやデッドコード挿入といった単純なセマンティック保存変換が、ウォーターマークを効果的に消去できることを示す。
  論文  参考訳（メタデータ） (2024-03-24T21:41:29Z)
• Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
  既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。 局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。 実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T03:33:42Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Diffsound: Discrete Diffusion Model for Text-to-sound Generation [78.4128796899781]
  本稿では,テキストエンコーダ,ベクトル量子化変分自動符号化(VQ-VAE),デコーダ,ボコーダからなる新しいテキスト音声生成フレームワークを提案する。 フレームワークは、まず、デコーダを使用して、テキストエンコーダから抽出したテキスト特徴をVQ-VAEの助けを借りてメルスペクトルに転送し、次いで、ボコーダを使用して生成されたメルスペクトルを波形に変換する。
  論文  参考訳（メタデータ） (2022-07-20T15:41:47Z)
• General tensor network decoding of 2D Pauli codes [0.0]
  パウリ雑音を受ける2次元安定化器とサブシステム符号の最大確率復号を近似した復号器を提案する。 3つのノイズモデルの下で4つの符号のクラスを研究することにより,このデコーダのパワーを数値的に実証する。 我々はデコーダによって得られる閾値が最先端であり、利用可能な最適しきい値と数値的に一致していることを示す。
  論文  参考訳（メタデータ） (2021-01-11T19:00:03Z)
• Combining hard and soft decoders for hypergraph product codes [0.3326320568999944]
  ハイパーグラフ製品コードは、スモールセットフリップ (SSF) と呼ばれる線形時間デコーダを備えた定数レート量子低密度パリティチェック (LDPC) 符号である。 このデコーダは、実際には準最適性能を示し、非常に大きなエラー訂正符号を必要とする。 本稿では,信念伝搬(BP)アルゴリズムとSFデコーダを組み合わせたハイブリッドデコーダを提案する。
  論文  参考訳（メタデータ） (2020-04-23T14:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。