論文の概要: Stealing the Decoding Algorithms of Language Models

• arxiv url: http://arxiv.org/abs/2303.04729v4
• Date: Fri, 1 Dec 2023 22:34:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 01:26:13.952103
• Title: Stealing the Decoding Algorithms of Language Models
• Title（参考訳）: 言語モデルの復号アルゴリズムを盗む
• Authors: Ali Naseh, Kalpesh Krishna, Mohit Iyyer, Amir Houmansadr
• Abstract要約: 現代の言語モデル(LM)からテキストを生成する重要な要素は、復号アルゴリズムの選択とチューニングである。 本研究では,LMに典型的なAPIアクセスを持つ敵が,その復号アルゴリズムの型とハイパーパラメータを盗むことができることを示す。 我々の攻撃は、GPT-2、GPT-3、GPT-Neoなどのテキスト生成APIで使われる一般的なLMに対して効果的である。
• 参考スコア（独自算出の注目度）: 56.369946232765656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key component of generating text from modern language models (LM) is the selection and tuning of decoding algorithms. These algorithms determine how to generate text from the internal probability distribution generated by the LM. The process of choosing a decoding algorithm and tuning its hyperparameters takes significant time, manual effort, and computation, and it also requires extensive human evaluation. Therefore, the identity and hyperparameters of such decoding algorithms are considered to be extremely valuable to their owners. In this work, we show, for the first time, that an adversary with typical API access to an LM can steal the type and hyperparameters of its decoding algorithms at very low monetary costs. Our attack is effective against popular LMs used in text generation APIs, including GPT-2, GPT-3 and GPT-Neo. We demonstrate the feasibility of stealing such information with only a few dollars, e.g., $\$0.8$, $\$1$, $\$4$, and $\$40$ for the four versions of GPT-3.
• Abstract（参考訳）: 現代の言語モデル(LM)からテキストを生成する重要な要素は、復号アルゴリズムの選択とチューニングである。 これらのアルゴリズムは、LMによって生成される内部確率分布からテキストを生成する方法を決定する。 復号アルゴリズムを選択してハイパーパラメータをチューニングするプロセスには、かなりの時間、手作業、計算が必要であり、人的評価も必要である。 したがって、そのような復号アルゴリズムのアイデンティティとハイパーパラメータは、所有者にとって極めて貴重であると考えられる。 この研究で、我々は、lmに典型的なapiアクセスを持つ敵が、非常に低い金銭的コストでデコードアルゴリズムのタイプとハイパーパラメータを盗むことができることを初めて示す。 我々の攻撃は、GPT-2、GPT-3、GPT-Neoなどのテキスト生成APIで使われる一般的なLMに対して効果的である。 GPT-3の4つのバージョンでは、$$$0.8$、$$$1$、$$$4$、$$$40$などである。

関連論文リスト

• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• The CLRS-Text Algorithmic Reasoning Language Benchmark [48.45201665463275]
  CLRS-TextはCLRSベンチマークのテキストバージョンである。 CLRS-Textは、30の多様な、挑戦的なアルゴリズムタスクのためのトレースデータを手続き的に生成することができる。 このベンチマークでは、様々なLMをジェネラリストエグゼクタとして微調整し評価する。
  論文  参考訳（メタデータ） (2024-06-06T16:29:25Z)
• GPT-who: An Information Density-based Machine-Generated Text Detector [6.111161457447324]
  精神言語学的に着想を得た最初のドメイン非依存型統計検出器であるGPT-whoを提案する。 この検出器は、UDDベースの特徴を用いて、LLM(Large Language Models)生成および人文生成の各テキストのユニークな統計的シグネチャをモデル化する。 過剰なテキストが認識できない場合でも、非常に洗練されたLCMによって生成されたテキストを区別できるGPT- who can distinguishing texts。
  論文  参考訳（メタデータ） (2023-10-09T23:06:05Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Memorization for Good: Encryption with Autoregressive Language Models [8.645826579841692]
  自己回帰言語モデル(SELM)を用いた最初の対称暗号アルゴリズムを提案する。 自己回帰的LMは任意のデータをコンパクトな実数値ベクトル(すなわち暗号化)にエンコードし、ランダムな部分空間最適化とgreedy復号によってベクトルを元のメッセージ(すなわち復号)に無作為に復号できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T05:42:34Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
  信頼性の高い復号法であるコントラスト復号法(CD)を提案する。 これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。 CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
  論文  参考訳（メタデータ） (2022-10-27T00:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。