論文の概要: Attribute Controlled Dialogue Prompting
- arxiv url: http://arxiv.org/abs/2307.05228v1
- Date: Tue, 11 Jul 2023 12:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 15:06:38.147221
- Title: Attribute Controlled Dialogue Prompting
- Title（参考訳）: 属性制御対話プロンプト
- Authors: Runcheng Liu, Ahmad Rashid, Ivan Kobyzev, Mehdi Rezagholizadeh and
Pascal Poupart
- Abstract要約: 本稿では,対話生成のための新しいインスタンス固有のプロンプトチューニングアルゴリズムを提案する。
本手法はベースラインの促進に優れ,全パラメータの5%～6%の微調整に匹敵する。
- 参考スコア（独自算出の注目度）: 31.09791656949115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt-tuning has become an increasingly popular parameter-efficient method
for adapting large pretrained language models to downstream tasks. However,
both discrete prompting and continuous prompting assume fixed prompts for all
data samples within a task, neglecting the fact that inputs vary greatly in
some tasks such as open-domain dialogue generation. In this paper, we present a
novel, instance-specific prompt-tuning algorithm for dialogue generation.
Specifically, we generate prompts based on instance-level control code, rather
than the conversation history, to explore their impact on controlled dialogue
generation. Experiments on popular open-domain dialogue datasets, evaluated on
both automated metrics and human evaluation, demonstrate that our method is
superior to prompting baselines and comparable to fine-tuning with only 5%-6%
of total parameters.
- Abstract（参考訳）: プロンプトチューニングは、大きな事前学習された言語モデルを下流タスクに適応させるためのパラメータ効率の高い手法として、ますます人気が高まっている。
しかしながら、離散的なプロンプトと連続的なプロンプトは、タスク内のすべてのデータサンプルに対して固定的なプロンプトを前提としており、入力がオープンドメインの対話生成などいくつかのタスクで大きく異なるという事実を無視している。
本稿では,対話生成のためのインスタンス固有のプロンプトチューニングアルゴリズムを提案する。
具体的には、会話履歴ではなく、インスタンスレベルの制御コードに基づくプロンプトを生成し、それらが制御された対話生成に与える影響を探索する。
自動計測と人的評価の両方で評価された一般的なオープンドメイン対話データセットを用いた実験では,本手法がベースラインの起動よりも優れており,パラメータの5%～6%の微調整に匹敵することを示した。
関連論文リスト
- A Static and Dynamic Attention Framework for Multi Turn Dialogue Generation [37.79563028123686]
オープンドメインマルチターン対話生成では,対話履歴の文脈意味論をモデル化することが不可欠である。
従来の研究は、オープンドメインマルチターン対話生成における階層的再帰エンコーダデコーダフレームワークの有効性を検証していた。
本稿では,対話履歴をモデル化し,オープンドメインのマルチターン対話応答を生成する静的かつ動的アテンションに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-28T06:05:34Z) - Contextual Data Augmentation for Task-Oriented Dialog Systems [8.085645180329417]
本研究では,ユーザターンを生成する新しいダイアログ拡張モデルを構築し,完全なダイアログコンテキストを条件づける。
言語モデルの新しいプロンプト設計と出力の再ランク付けにより、我々のモデルから生成されたダイアログを直接使用して、下流ダイアログシステムのトレーニングを行うことができる。
論文 参考訳（メタデータ） (2023-10-16T13:22:34Z) - Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳（メタデータ） (2023-05-06T23:11:25Z) - Contextual Dynamic Prompting for Response Generation in Task-oriented
Dialog Systems [8.419582942080927]
応答生成はタスク指向対話システムにおいて重要なコンポーネントの1つである。
本稿では,対話コンテキストからプロンプトを学習するテキスト動的プロンプトを実現する手法を提案する。
文脈的動的プロンプトは,3つの絶対点で構造化されたテキスト合成スコア citemehri-etal 2019 を用いて応答生成を改善することを示す。
論文 参考訳（メタデータ） (2023-01-30T20:26:02Z) - DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。
実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-20T06:21:21Z) - Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。
本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。
我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
論文 参考訳（メタデータ） (2022-10-09T06:32:58Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳（メタデータ） (2022-08-16T08:21:12Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳（メタデータ） (2020-05-27T02:05:33Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。