論文の概要: Deliberate then Generate: Enhanced Prompting Framework for Text
Generation
- arxiv url: http://arxiv.org/abs/2305.19835v1
- Date: Wed, 31 May 2023 13:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 16:30:35.540280
- Title: Deliberate then Generate: Enhanced Prompting Framework for Text
Generation
- Title(参考訳): Deliberate then Generate: テキスト生成のための拡張プロンプトフレームワーク
- Authors: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul
Menezes, Tong Xiao, Jiang Bian and JingBo Zhu
- Abstract要約: Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。
我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。
本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
- 参考スコア(独自算出の注目度): 70.10319005141888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown remarkable success across a wide
range of natural language generation tasks, where proper prompt designs make
great impacts. While existing prompting methods are normally restricted to
providing correct information, in this paper, we encourage the model to
deliberate by proposing a novel Deliberate then Generate (DTG) prompting
framework, which consists of error detection instructions and candidates that
may contain errors. DTG is a simple yet effective technique that can be applied
to various text generation tasks with minimal modifications. We conduct
extensive experiments on 20+ datasets across 7 text generation tasks, including
summarization, translation, dialogue, and more. We show that DTG consistently
outperforms existing prompting methods and achieves state-of-the-art
performance on multiple text generation tasks. We also provide in-depth
analyses to reveal the underlying mechanisms of DTG, which may inspire future
research on prompting for LLMs.
- Abstract(参考訳): 大規模言語モデル(llm)は、適切なプロンプトデザインが大きな影響を与える、幅広い自然言語生成タスクで顕著な成功を収めている。
既存のプロンプト法は通常正しい情報の提供に制限されるが、本論文では、エラー検出命令とエラーを含む可能性のある候補からなる新しいDeliberate then Generate(DTG)プロンプトフレームワークを提案することにより、モデルに意図的に対応させることを推奨する。
DTGは単純だが効果的な手法であり、最小限の変更で様々なテキスト生成タスクに適用できる。
要約,翻訳,対話など7つのテキスト生成タスクにまたがる20以上のデータセットについて,広範な実験を行った。
DTGは既存のプロンプト手法を一貫して上回り、複数のテキスト生成タスクにおける最先端のパフォーマンスを実現する。
また, DTGのメカニズムを明らかにするための詳細な分析を行い, LLMの促進に関する今後の研究を刺激する可能性がある。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Unlocking Anticipatory Text Generation: A Constrained Approach for Large
Language Models Decoding [78.83310409060836]
大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。
毒性や幻覚などの望ましくない行動が現れることがある。
将来制約付き生成問題としてテキスト生成の形式化を提案する。
論文 参考訳(メタデータ) (2023-12-11T06:35:33Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳(メタデータ) (2023-11-03T00:17:08Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:51Z) - Towards Attribute-Entangled Controllable Text Generation: A Pilot Study
of Blessing Generation [24.921292269906175]
制御可能なテキスト生成(CTG)は,複数の属性に着目した微細な生成能力によって大きな成功を収めている。
高品質な祝福テキストは、複数の属性間の絡み合いを包括的に考慮するために、CTGモデルを必要とするため、新しいCTGシナリオ、すなわち、祝福生成に重点を置いている。
本稿では,複数の属性を付加した293Kの英文を含む大規模エンタングル・ブレッディングテキストデータセットであるEBleTを提案する。
論文 参考訳(メタデータ) (2022-10-29T10:19:48Z) - Learning to Transfer Prompts for Text Generation [97.64625999380425]
転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。
まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。
広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
論文 参考訳(メタデータ) (2022-05-03T14:53:48Z) - Outline to Story: Fine-grained Controllable Story Generation from
Cascaded Events [39.577220559911055]
長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。
次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
論文 参考訳(メタデータ) (2021-01-04T08:16:21Z) - TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。
提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
論文 参考訳(メタデータ) (2020-04-07T00:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。