論文の概要: Reverse Prompt Engineering

• arxiv url: http://arxiv.org/abs/2411.06729v3
• Date: Sun, 16 Feb 2025 01:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 16:13:23.13576
• Title: Reverse Prompt Engineering
• Title（参考訳）: リバース・プロンプト・エンジニアリング
• Authors: Hanqing Li, Diego Klabjan,
• Abstract要約: 本稿では,言語モデルからの限られたテキスト出力のみを用いて,プロンプトを再構築する学習自由フレームワークを提案する。 私たちのアプローチは一貫して一貫性と意味論的意味のあるプロンプトをもたらします。
• 参考スコア（独自算出の注目度）: 12.46661880219403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore a new language model inversion problem under strict black-box, zero-shot, and limited data conditions. We propose a novel training-free framework that reconstructs prompts using only a limited number of text outputs from a language model. Existing methods rely on the availability of a large number of outputs for both training and inference, an assumption that is unrealistic in the real world, and they can sometimes produce garbled text. In contrast, our approach, which relies on limited resources, consistently yields coherent and semantically meaningful prompts. Our framework leverages a large language model together with an optimization process inspired by the genetic algorithm to effectively recover prompts. Experimental results on several datasets derived from public sources indicate that our approach achieves high-quality prompt recovery and generates prompts more semantically and functionally aligned with the originals than current state-of-the-art methods. Additionally, use-case studies introduced demonstrate the method's strong potential for generating high-quality text data on perturbed prompts.
• Abstract（参考訳）: 我々は、厳密なブラックボックス、ゼロショット、制限されたデータ条件の下で、新しい言語モデルの逆問題を探究する。 本稿では,言語モデルからの限られたテキスト出力のみを用いて,プロンプトを再構築する新しい学習自由フレームワークを提案する。 既存の方法は、実世界では非現実的な仮定であるトレーニングと推論の両方に多数の出力が利用できることに依存しており、時にはガーブルテキストを生成できる。 対照的に、限られたリソースに依存している我々のアプローチは、一貫性と意味論的に意味のあるプロンプトを一貫して得る。 我々のフレームワークは、遺伝的アルゴリズムにインスパイアされた最適化プロセスとともに、大きな言語モデルを活用して、効果的にプロンプトを復元する。 公開資料から得られたいくつかのデータセットによる実験結果から,本手法は高品質な迅速な回復を実現し,従来の最先端手法よりも意味的かつ機能的に原文に整合したプロンプトを生成することが示唆された。 さらに,提案手法が提案するユースケーススタディは,摂動的プロンプト上で高品質なテキストデータを生成する強力な可能性を示した。

関連論文リスト

• Advancing Prompt Recovery in NLP: A Deep Dive into the Integration of Gemma-2b-it and Phi2 Models [18.936945999215038]
  プロンプトの設計と有効性は、NLP研究における困難で比較的未解決の分野である。 本稿では,事前学習した言語モデルと戦略のスペクトルを用いて,迅速な回復手法の徹底的な検討を行う。 厳密な実験と詳細な解析により、Gemma-2b-it + Phi2 model + Pretrainの優れた性能を解明する。
  論文  参考訳（メタデータ） (2024-07-07T02:15:26Z)
• Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation [16.35126275175784]
  本稿では,事前訓練された言語モデルを用いて,ロバスト性を高めるための決定境界対応型データ拡張戦略を提案する。 提案手法は、まず、決定境界に近い潜在特徴のシフトに焦点をあて、続いて、ソフトラベル付き曖昧なバージョンを生成する再構成を行う。
  論文  参考訳（メタデータ） (2024-03-22T05:18:08Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
  生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
  論文  参考訳（メタデータ） (2023-11-08T14:05:00Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
  本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。 提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
  論文  参考訳（メタデータ） (2023-08-10T03:09:12Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• STA: Self-controlled Text Augmentation for Improving Text Classifications [2.9669250132689164]
  自然言語処理(NLP)の分野では,テキスト拡張技術が数多く出現している。 STA(Self-Controlled Text Augmentation)のための最先端手法を提案する。 提案手法は,生成したサンプルが元のテキストのセマンティックな内容を保持することを保証するための自己チェック手順を導入することで,生成過程を厳しく制御する。
  論文  参考訳（メタデータ） (2023-02-24T17:54:12Z)
• Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
  自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
  論文  参考訳（メタデータ） (2022-12-05T11:16:47Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods [26.326800624948344]
  本稿では,情報理論の観点から,抽出テキスト要約手法の課題をモデル化する。 特徴分布の改善と要約文の相互情報の低減を目的として,新たな文抽出手法を提案する。
  論文  参考訳（メタデータ） (2021-12-06T18:00:02Z)
• GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
  PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。 提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。 2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2021-08-13T01:09:02Z)
• BERT-based Chinese Text Classification for Emergency Domain with a Novel Loss Function [9.028459232146474]
  本論文では,緊急事象報告分類問題に対する自動中国語テキスト分類法を提案する。 緊急イベントカテゴリの分布におけるデータ不均衡を克服するため,BERTモデルの性能向上を目的とした新たな損失関数を提案する。 提案手法は, 精度, 重み付き精度, 重み付きリコール, 重み付きF1値で最高の性能を示した。
  論文  参考訳（メタデータ） (2021-04-09T05:25:00Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。