論文の概要: Language Model Inversion

• arxiv url: http://arxiv.org/abs/2311.13647v1
• Date: Wed, 22 Nov 2023 19:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:34:19.059838
• Title: Language Model Inversion
• Title（参考訳）: 言語モデルインバージョン
• Authors: John X. Morris, Wenting Zhao, Justin T. Chiu, Vitaly Shmatikov, Alexander M. Rush
• Abstract要約: 我々は,次の確率が先行するテキストに関する驚くべき量の情報を含んでいることを示す。 我々の反転法は、BLEUが59ドル、トークンレベルのF1が78ドルでプロンプトを再構築し、正確に27%のプロンプトを回収する。
• 参考スコア（独自算出の注目度）: 77.22715643068284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models produce a distribution over the next token; can we use this information to recover the prompt tokens? We consider the problem of language model inversion and show that next-token probabilities contain a surprising amount of information about the preceding text. Often we can recover the text in cases where it is hidden from the user, motivating a method for recovering unknown prompts given only the model's current distribution output. We consider a variety of model access scenarios, and show how even without predictions for every token in the vocabulary we can recover the probability vector through search. On Llama-2 7b, our inversion method reconstructs prompts with a BLEU of $59$ and token-level F1 of $78$ and recovers $27\%$ of prompts exactly. Code for reproducing all experiments is available at http://github.com/jxmorris12/vec2text.
• Abstract（参考訳）: 言語モデルは次のトークンに分散を生成する。この情報を使ってプロンプトトークンを復元できるだろうか? 本稿では,言語モデル逆転の問題について考察し,次の確率が先行するテキストに関する驚くべき量の情報を含んでいることを示す。 しばしば、ユーザから隠された場合にテキストを復元し、モデルが現在配布している出力のみを与えられた未知のプロンプトを復元する手法を動機付けます。 様々なモデルアクセスシナリオを考察し,語彙中のトークンごとの予測がなくても,探索によって確率ベクトルを復元できることを示す。 llama-2 7bでは、inversionメソッドはプロンプトを59ドルのbleuで再構築し、トークンレベルのf1は78ドル、正確には27\%$のプロンプトを復元します。 すべての実験を再現するためのコードは、http://github.com/jxmorris12/vec2text.comで入手できる。

関連論文リスト

• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)
• Robust Distortion-free Watermarks for Language Models [85.55407177530746]
  本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。 言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
  論文  参考訳（メタデータ） (2023-07-28T14:52:08Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Can discrete information extraction prompts generalize across language models? [36.85568212975316]
  自動誘導型プロンプトをアウト・オブ・ザ・ボックス(out-of-the-box)として使用して,他の言語モデルに対して同じ情報を求めることができるかを検討する。 学習時に言語モデルを混合することでプロンプトを誘導する手法を導入し、モデル間でよく一般化するプロンプトを導出する。
  論文  参考訳（メタデータ） (2023-02-20T09:56:51Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Pre-trained Token-replaced Detection Model as Few-shot Learner [31.40447168356879]
  ELECTRAのような事前訓練されたトークン置換検出モデルを用いて,少数ショット学習のための新しい手法を提案する。 16のデータセットの体系的評価により,事前学習されたマスキング言語モデルを用いた数発の学習者よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-03-07T09:47:53Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。