論文の概要: Reverse Prompt Engineering
- arxiv url: http://arxiv.org/abs/2411.06729v1
- Date: Mon, 11 Nov 2024 05:58:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:10:15.833359
- Title: Reverse Prompt Engineering
- Title(参考訳): リバース・プロンプト・エンジニアリング
- Authors: Hanqing Li, Diego Klabjan,
- Abstract要約: 本稿では,新しいブラックボックス,ゼロショット言語モデル逆転問題について検討する。
言語モデルからのテキスト出力のみを用いて,再構築を促す革新的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.46661880219403
- License:
- Abstract: This paper explores a new black-box, zero-shot language model inversion problem and proposes an innovative framework for prompt reconstruction using only text outputs from a language model. Leveraging a large language model alongside an optimization algorithm, the proposed method effectively recovers prompts with minimal resources. Experimental results on several datasets derived from public sources indicate that the proposed approach achieves high-quality prompt recovery and generates prompts more similar to the originals than current state-of-the-art methods. Additionally, the use-case study demonstrates the method's strong potential for generating high-quality text data.
- Abstract(参考訳): 本稿では,新たなブラックボックス・ゼロショット言語モデル逆転問題について検討し,言語モデルからのテキスト出力のみを用いて,再構築を促す革新的なフレームワークを提案する。
最適化アルゴリズムとともに大規模言語モデルを活用することにより,提案手法は最小限の資源で効率的にプロンプトを復元する。
公開資料から得られたいくつかのデータセットの実験結果から,提案手法は高品質なプロンプトリカバリを実現し,現在の最先端手法よりもオリジナルに類似したプロンプトを生成することが示唆された。
さらに,本手法が高品質なテキストデータを生成する可能性を示した。
関連論文リスト
- Advancing Prompt Recovery in NLP: A Deep Dive into the Integration of Gemma-2b-it and Phi2 Models [18.936945999215038]
プロンプトの設計と有効性は、NLP研究における困難で比較的未解決の分野である。
本稿では,事前学習した言語モデルと戦略のスペクトルを用いて,迅速な回復手法の徹底的な検討を行う。
厳密な実験と詳細な解析により、Gemma-2b-it + Phi2 model + Pretrainの優れた性能を解明する。
論文 参考訳(メタデータ) (2024-07-07T02:15:26Z) - Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation [16.35126275175784]
本稿では,事前訓練された言語モデルを用いて,ロバスト性を高めるための決定境界対応型データ拡張戦略を提案する。
提案手法は、まず、決定境界に近い潜在特徴のシフトに焦点をあて、続いて、ソフトラベル付き曖昧なバージョンを生成する再構成を行う。
論文 参考訳(メタデータ) (2024-03-22T05:18:08Z) - Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。
このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
論文 参考訳(メタデータ) (2023-11-08T14:05:00Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - Few-Shot Data-to-Text Generation via Unified Representation and
Multi-Source Learning [114.54944761345594]
本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。
提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
論文 参考訳(メタデータ) (2023-08-10T03:09:12Z) - Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。
最近のデータ拡張手法は文法的誤りの問題を無視することが多い。
本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-16T16:52:07Z) - A Provably Efficient Model-Free Posterior Sampling Method for Episodic
Reinforcement Learning [50.910152564914405]
強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。
本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
論文 参考訳(メタデータ) (2022-08-23T12:21:01Z) - A New Sentence Extraction Strategy for Unsupervised Extractive
Summarization Methods [26.326800624948344]
本稿では,情報理論の観点から,抽出テキスト要約手法の課題をモデル化する。
特徴分布の改善と要約文の相互情報の低減を目的として,新たな文抽出手法を提案する。
論文 参考訳(メタデータ) (2021-12-06T18:00:02Z) - GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。
提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。
2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
論文 参考訳(メタデータ) (2021-08-13T01:09:02Z) - BERT-based Chinese Text Classification for Emergency Domain with a Novel
Loss Function [9.028459232146474]
本論文では,緊急事象報告分類問題に対する自動中国語テキスト分類法を提案する。
緊急イベントカテゴリの分布におけるデータ不均衡を克服するため,BERTモデルの性能向上を目的とした新たな損失関数を提案する。
提案手法は, 精度, 重み付き精度, 重み付きリコール, 重み付きF1値で最高の性能を示した。
論文 参考訳(メタデータ) (2021-04-09T05:25:00Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-04T05:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。