論文の概要: Reverse Prompt Engineering

• arxiv url: http://arxiv.org/abs/2411.06729v3
• Date: Sun, 16 Feb 2025 01:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:14.363619
• Title: Reverse Prompt Engineering
• Title（参考訳）: リバース・プロンプト・エンジニアリング
• Authors: Hanqing Li, Diego Klabjan,
• Abstract要約: 本稿では,言語モデルからの限られたテキスト出力のみを用いて,プロンプトを再構築する学習自由フレームワークを提案する。 私たちのアプローチは一貫して一貫性と意味論的意味のあるプロンプトをもたらします。
• 参考スコア（独自算出の注目度）: 12.46661880219403
• License:
• Abstract: We explore a new language model inversion problem under strict black-box, zero-shot, and limited data conditions. We propose a novel training-free framework that reconstructs prompts using only a limited number of text outputs from a language model. Existing methods rely on the availability of a large number of outputs for both training and inference, an assumption that is unrealistic in the real world, and they can sometimes produce garbled text. In contrast, our approach, which relies on limited resources, consistently yields coherent and semantically meaningful prompts. Our framework leverages a large language model together with an optimization process inspired by the genetic algorithm to effectively recover prompts. Experimental results on several datasets derived from public sources indicate that our approach achieves high-quality prompt recovery and generates prompts more semantically and functionally aligned with the originals than current state-of-the-art methods. Additionally, use-case studies introduced demonstrate the method's strong potential for generating high-quality text data on perturbed prompts.
• Abstract（参考訳）: 我々は、厳密なブラックボックス、ゼロショット、制限されたデータ条件の下で、新しい言語モデルの逆問題を探究する。 本稿では,言語モデルからの限られたテキスト出力のみを用いて,プロンプトを再構築する新しい学習自由フレームワークを提案する。 既存の方法は、実世界では非現実的な仮定であるトレーニングと推論の両方に多数の出力が利用できることに依存しており、時にはガーブルテキストを生成できる。 対照的に、限られたリソースに依存している我々のアプローチは、一貫性と意味論的に意味のあるプロンプトを一貫して得る。 我々のフレームワークは、遺伝的アルゴリズムにインスパイアされた最適化プロセスとともに、大きな言語モデルを活用して、効果的にプロンプトを復元する。 公開資料から得られたいくつかのデータセットによる実験結果から,本手法は高品質な迅速な回復を実現し,従来の最先端手法よりも意味的かつ機能的に原文に整合したプロンプトを生成することが示唆された。 さらに,提案手法が提案するユースケーススタディは,摂動的プロンプト上で高品質なテキストデータを生成する強力な可能性を示した。

関連論文リスト

• Advancing Prompt Recovery in NLP: A Deep Dive into the Integration of Gemma-2b-it and Phi2 Models [18.936945999215038]
  プロンプトの設計と有効性は、NLP研究における困難で比較的未解決の分野である。 本稿では,事前学習した言語モデルと戦略のスペクトルを用いて,迅速な回復手法の徹底的な検討を行う。 厳密な実験と詳細な解析により、Gemma-2b-it + Phi2 model + Pretrainの優れた性能を解明する。
  論文  参考訳（メタデータ） (2024-07-07T02:15:26Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• STA: Self-controlled Text Augmentation for Improving Text Classifications [2.9669250132689164]
  自然言語処理(NLP)の分野では,テキスト拡張技術が数多く出現している。 STA(Self-Controlled Text Augmentation)のための最先端手法を提案する。 提案手法は,生成したサンプルが元のテキストのセマンティックな内容を保持することを保証するための自己チェック手順を導入することで,生成過程を厳しく制御する。
  論文  参考訳（メタデータ） (2023-02-24T17:54:12Z)
• Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
  自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
  論文  参考訳（メタデータ） (2022-12-05T11:16:47Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。