論文の概要: Permute-and-Flip: An optimally robust and watermarkable decoder for LLMs

• arxiv url: http://arxiv.org/abs/2402.05864v1
• Date: Thu, 8 Feb 2024 17:54:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 13:52:01.615329
• Title: Permute-and-Flip: An optimally robust and watermarkable decoder for LLMs
• Title（参考訳）: Permute-and-Flip:LLMのための最適に堅牢で透かしやすいデコーダ
• Authors: Xuandong Zhao, Lei Li, Yu-Xiang Wang
• Abstract要約: 本稿では,Permute-and-Flip(PF)デコーダと呼ばれる新しいデコーダを提案する。 PFデコーダは標準サンプリングデコーダと同様の堅牢性を有する。 サンプリングよりも品質と損耗のトレードオフが最大で2倍改善されている。
• 参考スコア（独自算出の注目度）: 41.532711376512744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new decoding method called Permute-and-Flip (PF) decoder. It enjoys robustness properties similar to the standard sampling decoder, but is provably up to 2x better in its quality-robustness tradeoff than sampling and never worse than any other decoder. We also design a cryptographic watermarking scheme analogous to Aaronson's Gumbel watermark, but naturally tailored for PF decoder. The watermarking scheme does not change the distribution to sample, while allowing arbitrarily low false positive rate and high recall whenever the generated text has high entropy. Our experiments show that the PF decoder (and its watermarked counterpart) significantly outperform(s) naive sampling (and it's Gumbel watermarked counterpart) in terms of perplexity, while retaining the same robustness (and detectability), hence making it a promising new approach for LLM decoding. The code is available at https://github.com/XuandongZhao/pf-decoding
• Abstract（参考訳）: 本稿では,Permute-and-Flip(PF)デコーダと呼ばれる新しいデコーダを提案する。 標準サンプリングデコーダと同様のロバスト性を備えているが、サンプリングよりも品質ロバスト性トレードオフが最大2倍優れているため、他のどのデコーダよりも悪くなることはない。 また、AaronsonのGumbel透かしと同様の暗号透かし方式を設計するが、自然にPFデコーダ用に調整する。 ウォーターマーキング方式は、生成したテキストがエントロピーが高い場合には任意に低い偽陽性率と高いリコールを許容しながら、分布をサンプルに変更しない。 我々の実験は、PFデコーダ(およびその透かし付き)が、同じ堅牢性(および検出可能性)を維持しつつも、難易度の観点からかなり優れたサンプリング(およびガムベル透かし付きサンプリング)を行い、LCMデコーダの新たなアプローチとして有望であることを示している。 コードはhttps://github.com/xuandongzhao/pf-decodingで入手できる。

関連論文リスト

• Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement [1.4037575966075835]
  生のオーディオの1Dフィルターは訓練が困難で、しばしば不安定に悩まされる。 これらの問題は、理論駆動とデータ駆動のアプローチを組み合わせたハイブリッドソリューションによって解決される。
  論文  参考訳（メタデータ） (2024-08-30T15:49:31Z)
• Bit-flipping Decoder Failure Rate Estimation for (v,w)-regular Codes [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
  既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。 局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。 実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T03:33:42Z)
• Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
  本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。 実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T11:49:52Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Diffsound: Discrete Diffusion Model for Text-to-sound Generation [78.4128796899781]
  本稿では,テキストエンコーダ,ベクトル量子化変分自動符号化(VQ-VAE),デコーダ,ボコーダからなる新しいテキスト音声生成フレームワークを提案する。 フレームワークは、まず、デコーダを使用して、テキストエンコーダから抽出したテキスト特徴をVQ-VAEの助けを借りてメルスペクトルに転送し、次いで、ボコーダを使用して生成されたメルスペクトルを波形に変換する。
  論文  参考訳（メタデータ） (2022-07-20T15:41:47Z)
• General tensor network decoding of 2D Pauli codes [0.0]
  パウリ雑音を受ける2次元安定化器とサブシステム符号の最大確率復号を近似した復号器を提案する。 3つのノイズモデルの下で4つの符号のクラスを研究することにより,このデコーダのパワーを数値的に実証する。 我々はデコーダによって得られる閾値が最先端であり、利用可能な最適しきい値と数値的に一致していることを示す。
  論文  参考訳（メタデータ） (2021-01-11T19:00:03Z)
• Combining hard and soft decoders for hypergraph product codes [0.3326320568999944]
  ハイパーグラフ製品コードは、スモールセットフリップ (SSF) と呼ばれる線形時間デコーダを備えた定数レート量子低密度パリティチェック (LDPC) 符号である。 このデコーダは、実際には準最適性能を示し、非常に大きなエラー訂正符号を必要とする。 本稿では,信念伝搬(BP)アルゴリズムとSFデコーダを組み合わせたハイブリッドデコーダを提案する。
  論文  参考訳（メタデータ） (2020-04-23T14:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。