論文の概要: Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of
In-Context Learning for Persona-based Dialogue Generation
- arxiv url: http://arxiv.org/abs/2402.09954v1
- Date: Thu, 15 Feb 2024 14:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:38:26.364587
- Title: Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of
In-Context Learning for Persona-based Dialogue Generation
- Title（参考訳）: 良いプロンプトを作るか、模範的な対話を提供するか?
パーソナラベース対話生成のための文脈内学習に関する研究
- Authors: Jiashu Pu,Yajing Wan,Yuru Zhang,Jing Chen,Ling Cheng,Qian Shao,Yongzhu
Chang,Tangjie Lv,Rongsheng Zhang
- Abstract要約: 対人対話生成における大規模言語モデル(LLM)のICL機能を体系的に検討する。
実験結果から, 命令の調整は, 生成品質を改善するための最も直接的, 効果的, 経済的方法である, 2) デモ(デム)をランダムに検索すると, 最高の結果が得られる, 3) デモにおけるマルチターン関連やシングルターンセマンティクスを破壊しても, デモの数が増えても, 対話性能が向上する,という3つの結論が得られた。
- 参考スコア（独自算出の注目度）: 15.143135611057309
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous in-context learning (ICL) research has focused on tasks such as
classification, machine translation, text2table, etc., while studies on whether
ICL can improve human-like dialogue generation are scarce. Our work fills this
gap by systematically investigating the ICL capabilities of large language
models (LLMs) in persona-based dialogue generation, conducting extensive
experiments on high-quality real human Chinese dialogue datasets. From
experimental results, we draw three conclusions: 1) adjusting prompt
instructions is the most direct, effective, and economical way to improve
generation quality; 2) randomly retrieving demonstrations (demos) achieves the
best results, possibly due to the greater diversity and the amount of effective
information; counter-intuitively, retrieving demos with a context identical to
the query performs the worst; 3) even when we destroy the multi-turn
associations and single-turn semantics in the demos, increasing the number of
demos still improves dialogue performance, proving that LLMs can learn from
corrupted dialogue demos. Previous explanations of the ICL mechanism, such as
$n$-gram induction head, cannot fully account for this phenomenon.
- Abstract（参考訳）: これまでICL(In-context Learning)研究は、分類、機械翻訳、text2tableなどのタスクに重点を置いてきたが、ICLが人間に似た対話生成を改善できるかどうかの研究は少ない。
本研究は,多言語モデル(LLM)の対話生成におけるICL機能を体系的に検討し,高品質な中国語対話データセットに関する広範な実験を行うことによって,このギャップを埋めるものである。
実験結果から3つの結論が導かれる。
1) 迅速な指示の調整は,生成品質を改善するための最も直接的かつ効果的かつ経済的方法である。
2)ランダムに検索するデモ(デモ)は,多種多様で効果的な情報の量が多いため,おそらく最高の結果を達成している。
3) デモにおけるマルチターン関連やシングルターンセマンティクスを破壊しても,デモの数が増えても対話性能が向上し,LLMが劣化した対話デモから学習できることが証明された。
ICL機構の以前の説明、例えば$n$-gram誘導ヘッドは、この現象を完全に説明できない。
関連論文リスト
- Exploring Knowledge Tracing in Tutor-Student Dialogues [53.52699766206808]
本稿では,教師と学生の対話における知識追跡(KT)の最初の試みについて述べる。
そこで本研究では,対話の各ターンに係わる知識コンポーネントやスキルを同定する手法を提案する。
次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Reasoning in Conversation: Solving Subjective Tasks through Dialogue
Simulation for Large Language Models [56.93074140619464]
本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。
RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。
GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
論文 参考訳（メタデータ） (2024-02-27T05:37:10Z) - Self-Explanation Prompting Improves Dialogue Understanding in Large
Language Models [52.24756457516834]
大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。
このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。
6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
論文 参考訳（メタデータ） (2023-09-22T15:41:34Z) - Frugal Prompting for Dialog Models [17.048111072193933]
本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。
即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。
この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
論文 参考訳（メタデータ） (2023-05-24T09:06:49Z) - PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue [21.266410719325208]
ペルソナとナレッジ デュアルコンテキスト識別(ペルソナとナレッジ コンテクストの同定)は、与えられた対話において、ペルソナとナレッジを共同で識別するタスクである。
我々は,対話のすべての文脈を同時に活用する新しい接地検索手法を開発した。
論文 参考訳（メタデータ） (2023-02-13T20:27:26Z) - A Mixture-of-Expert Approach to RL-based Dialogue Management [56.08449336469477]
我々は、強化学習を用いて、近視性(一般的な発話の出力)を回避し、全体的なユーザ満足度を最大化する対話エージェントを開発する。
既存のRLアプローチのほとんどは、単語レベルでエージェントを訓練するので、中規模の語彙であっても、非常に複雑なアクション空間を扱う必要がある。
i)会話履歴の多様な意味を学習できるLMと、(ii)対応する発話を生成できる専門的なLM(または専門家)からなる、新しい専門家言語モデル(MoE-LM)を用いたRLベースのDMを開発する。
論文 参考訳（メタデータ） (2022-05-31T19:00:41Z) - Learning Dialogue Representations from Consecutive Utterances [29.150589618130695]
本稿では,自己指導型コントラスト学習手法である対話文埋め込み(DSE)を紹介する。
DSEは、対照的な学習のための正のペアと同じ対話の連続的な発話を取り、対話から学習する。
異なる意味的粒度の対話表現を調べる5つの下流対話課題についてDSEを評価する。
論文 参考訳（メタデータ） (2022-05-26T18:15:13Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳（メタデータ） (2021-05-23T15:16:54Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T01:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。