Fugu-MT 論文翻訳(概要): Extracting Prompts by Inverting LLM Outputs

論文の概要: Extracting Prompts by Inverting LLM Outputs

arxiv url: http://arxiv.org/abs/2405.15012v2
Date: Tue, 08 Oct 2024 16:30:11 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-10 14:29:46.501863
Title: Extracting Prompts by Inverting LLM Outputs
Title（参考訳）: LLM出力の反転によるプロンプト抽出
Authors: Collin Zhang, John X. Morris, Vitaly Shmatikov,
Abstract要約: output2promptはモデルのロジットにアクセスせずにプロンプトを抽出することを学ぶ。メモリ効率を向上させるため、output2promptは新しいスパース符号化技術を採用している。
参考スコア（独自算出の注目度）: 9.35864154458957
License:
Abstract: We consider the problem of language model inversion: given outputs of a language model, we seek to extract the prompt that generated these outputs. We develop a new black-box method, output2prompt, that learns to extract prompts without access to the model's logits and without adversarial or jailbreaking queries. In contrast to previous work, output2prompt only needs outputs of normal user queries. To improve memory efficiency, output2prompt employs a new sparse encoding techique. We measure the efficacy of output2prompt on a variety of user and system prompts and demonstrate zero-shot transferability across different LLMs.
Abstract（参考訳）: 言語モデルのインバージョン:言語モデルの出力が与えられた場合、これらの出力を生成するプロンプトを抽出する。我々は,モデルのロジットにアクセスすることなく,逆数やジェイルブレイクを行わずにプロンプトを抽出する新しいブラックボックス手法である output2prompt を開発した。以前の作業とは対照的に、output2promptは通常のユーザクエリの出力のみを必要とする。メモリ効率を向上させるため、output2promptは新しいスパース符号化技術を採用している。本研究では,様々なユーザおよびシステムプロンプトに対するoutput2promptの有効性を測定し,異なるLLM間でゼロショット転送性を示す。

関連論文リスト

PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures [5.513631883813244]
既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
論文参考訳（メタデータ） (2024-10-30T15:05:17Z)
Prompt Exploration with Prompt Regression [38.847668543140315]
本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
論文参考訳（メタデータ） (2024-05-17T20:30:49Z)
Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文参考訳（メタデータ） (2024-04-01T12:19:08Z)
Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation [150.57983348059528]
PRISMは人間の解釈可能なプロンプトと転送可能なプロンプトを自動的に識別するアルゴリズムである。 T2Iモデルへのブラックボックスアクセスのみを前提として、望まれる概念を効果的に生成できる。本実験は,オブジェクト,スタイル,画像の正確なプロンプト生成におけるPRISMの有効性と有効性を示す。
論文参考訳（メタデータ） (2024-03-28T02:35:53Z)
Monotonic Paraphrasing Improves Generalization of Language Model Prompting [42.74429247000797]
MonoParaはエンド・ツー・エンドのデコーディング戦略であり、プロンプトや命令を下位のパープレクティリティに言い換える。いかなる訓練も必要とせず、単調に言い換えられたプロンプトや命令の難易度を下げることができる。また、乱雑なタスク命令に対するLMの一般化を効果的に改善することが示されている。
論文参考訳（メタデータ） (2024-03-24T06:49:07Z)
Learning to Compress Prompt in Natural Language Formats [54.06967020905763]
大規模言語モデル(LLM)は、複数の自然言語処理タスクを処理するのに優れている。 LLMは、長いコンテキスト、遅い推論速度、高い計算コストによる性能の低下によって制約される。本研究の目的は、LLM転送性を備えた自然言語形式で長いプロンプトを圧縮することである。
論文参考訳（メタデータ） (2024-02-28T20:41:21Z)
MemoryPrompt: A Light Wrapper to Improve Context Tracking in Pre-trained Language Models [10.783764497590473]
トランスフォーマーベースの言語モデル(LM)は、大規模でハードコードされた入力ウィンドウを通してコンテキスト情報を追跡する。メモリプロンプト(MemoryPrompt)は、LMを小さな補助的リカレントネットワークで補完し、その正規入力をベクトル列でプレフィックスすることでLMに情報伝達する手法である。複数のファクト更新を追跡するLMの能力を調査するために設計されたタスクでテストされた MemoryPromptの拡張されたLM は、完全な入力履歴にアクセス可能なより大きなLMよりも優れている。
論文参考訳（メタデータ） (2024-02-23T11:30:39Z)
Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。ジェネレータは、判別器を騙すのに十分な出力を生成する。本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
論文参考訳（メタデータ） (2023-12-05T09:44:45Z)
L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
論文参考訳（メタデータ） (2023-10-02T16:55:19Z)
Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文参考訳（メタデータ） (2023-08-23T17:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。