論文の概要: Reverse-Engineering Decoding Strategies Given Blackbox Access to a
Language Generation System
- arxiv url: http://arxiv.org/abs/2309.04858v1
- Date: Sat, 9 Sep 2023 18:19:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 15:47:01.779165
- Title: Reverse-Engineering Decoding Strategies Given Blackbox Access to a
Language Generation System
- Title（参考訳）: 言語生成システムにブラックボックスアクセスを付与したリバースエンジニアリングデコード方式
- Authors: Daphne Ippolito, Nicholas Carlini, Katherine Lee, Milad Nasr, Yun
William Yu
- Abstract要約: テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。
どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
- 参考スコア（独自算出の注目度）: 73.52878118434147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural language models are increasingly deployed into APIs and websites that
allow a user to pass in a prompt and receive generated text. Many of these
systems do not reveal generation parameters. In this paper, we present methods
to reverse-engineer the decoding method used to generate text (i.e., top-$k$ or
nucleus sampling). Our ability to discover which decoding strategy was used has
implications for detecting generated text. Additionally, the process of
discovering the decoding strategy can reveal biases caused by selecting
decoding settings which severely truncate a model's predicted distributions. We
perform our attack on several families of open-source language models, as well
as on production systems (e.g., ChatGPT).
- Abstract（参考訳）: ニューラル言語モデルは、ユーザーがプロンプトを渡して生成されたテキストを受信できるように、APIやWebサイトにますますデプロイされている。
これらのシステムの多くは生成パラメータを明らかにしない。
本稿では,テキスト生成に用いる復号法(トップ$k$または核サンプリング)をリバースエンジニアリングする手法を提案する。
どのデコード戦略が使われたかを検出する能力は、生成されたテキストを検出するための意味を持つ。
さらに、デコード戦略を発見するプロセスは、モデルが予測する分布を著しく歪ませるデコード設定を選択することで生じるバイアスを明らかにすることができる。
私たちは、いくつかのオープンソースの言語モデル、およびプロダクションシステム(例えば、chatgpt)に対して攻撃を行います。
関連論文リスト
- Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。
本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。
本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-04-08T01:54:28Z) - Code-Mixed Probes Show How Pre-Trained Models Generalise On Code-Switched Text [1.9185059111021852]
事前学習された言語モデルが3次元のコードスイッチトテキストをどのように扱うかを検討する。
その結果,事前学習した言語モデルは,コードスイッチトテキストへの一般化に有効であることが判明した。
論文 参考訳（メタデータ） (2024-03-07T19:46:03Z) - Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。
我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。
本稿では,新しい復号法であるtextitmomentum decodingを提案する。
論文 参考訳（メタデータ） (2022-12-05T11:16:47Z) - A Simple, Yet Effective Approach to Finding Biases in Code Generation [16.094062131137722]
この研究は、現在のコード生成システムが、彼らの大きな言語モデルバックボーンから受け継がれた望ましくないバイアスを示すことを示している。
コーディング課題のモジュラー分解と解析を可能にする「影響ブロック」の概念を提案する。
論文 参考訳（メタデータ） (2022-10-31T15:06:15Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2022-05-23T08:20:41Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳（メタデータ） (2022-05-19T01:27:53Z) - On Decoding Strategies for Neural Text Generators [73.48162198041884]
言語生成タスクと復号化戦略の相互作用について検討する。
生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。
以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
論文 参考訳（メタデータ） (2022-03-29T16:25:30Z) - On-the-Fly Controlled Text Generation with Experts and Anti-Experts [70.41630506059113]
本稿では,DExperts: Decoding-time Expertsを提案する。
私たちのアンサンブルの下では、出力トークンは専門家によって可能性が高く、おそらく反専門家によってのみ高い確率を得ます。
論文 参考訳（メタデータ） (2021-05-07T01:19:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。