論文の概要: Context-dependent Instruction Tuning for Dialogue Response Generation

• arxiv url: http://arxiv.org/abs/2311.07006v1
• Date: Mon, 13 Nov 2023 01:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 15:52:03.404814
• Title: Context-dependent Instruction Tuning for Dialogue Response Generation
• Title（参考訳）: 対話応答生成のための文脈依存命令チューニング
• Authors: Jin Myung Kwak, Minseon Kim, Sung Ju Hwang
• Abstract要約: 最近の言語モデルは、微調整中にタスク入力に命令を組み込むことで、自然言語計算タスクにおいて顕著なパフォーマンスを実現している。 マルチターン対話のためのコンテキストベース命令微調整フレームワークを提案する。 評価中、モデルは以前の文脈に基づいて指示を生成し、応答を自己導出する。
• 参考スコア（独自算出の注目度）: 61.21790201307179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent language models have achieved impressive performance in natural language tasks by incorporating instructions with task input during fine-tuning. Since all samples in the same natural language task can be explained with the same task instructions, many instruction datasets only provide a few instructions for the entire task, without considering the input of each example in the task. However, this approach becomes ineffective in complex multi-turn dialogue generation tasks, where the input varies highly with each turn as the dialogue context changes, so that simple task instructions cannot improve the generation performance. To address this limitation, we introduce a context-based instruction fine-tuning framework for each multi-turn dialogue which generates both responses and instructions based on the previous context as input. During the evaluation, the model generates instructions based on the previous context to self-guide the response. The proposed framework produces comparable or even outstanding results compared to the baselines by aligning instructions to the input during fine-tuning with the instructions in quantitative evaluations on dialogue benchmark datasets with reduced computation budget.
• Abstract（参考訳）: 最近の言語モデルは、微調整中に命令とタスク入力を組み込むことで、自然言語タスクにおいて印象的なパフォーマンスを達成している。 同じ自然言語タスク内のすべてのサンプルは、同じタスク命令で説明できるため、多くの命令データセットは、タスク内の各サンプルの入力を考慮せずに、タスク全体の命令のみを提供する。 しかし、対話コンテキストが変化するにつれて入力が多角的に変化する複雑なマルチターン対話生成タスクでは、このアプローチは有効ではないため、単純なタスク命令が生成性能を向上させることができない。 この制限に対処するために,前回の文脈に基づく応答と命令の両方を入力として生成するマルチターン対話毎に,コンテキストベースの命令微調整フレームワークを導入する。 評価中、モデルは以前の文脈に基づいて指示を生成し、応答を自己導出する。 提案フレームワークは,計算予算を削減したダイアログベンチマークデータセットの定量的評価において,インプットへの指示を微調整中に整列させることにより,ベースラインと同等あるいは同等な結果が得られる。

関連論文リスト

• Fine-tuning Large Language Models with Sequential Instructions [2.546845645875049]
  既存の命令調整モデルでは、複数の命令でクエリに応答するのに苦労していることがわかった。 我々は、微調整データの一部がシーケンシャルに関連したタスクの連鎖を含むべきであると論じる。 既存のデータセットの命令を多種多様な複雑なシーケンシャルな命令に変換することで、このプロセスを自動化する。 逐次指導チューニングを行ったモデルでは、符号化、数学、オープンエンド生成の結果が改善された。
  論文  参考訳（メタデータ） (2024-03-12T16:33:30Z)
• Grounded Complex Task Segmentation for Conversational Assistants [6.188306785668896]
  レシピ領域に取り組み、読み上げ命令を会話構造に変換する。 そこで我々は,会話シナリオに従って指示の構造に注釈を付け,この設定で期待されていることの洞察を提供した。 さらなるユーザ調査により、ユーザは管理可能な複雑さと長さのステップを好む傾向にあり、提案手法は元のWebベースの指導文を改善することができることが示された。
  論文  参考訳（メタデータ） (2023-09-20T12:55:46Z)
• DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable Task-Oriented Dialogue Systems [15.087619144902776]
  本稿では,潜在空間における対話行動を表現する対話行動モデル(DiactTOD)を提案する。 大規模なコーパスで事前トレーニングを行うと、DiactTODは対話を予測し制御し、制御可能な応答を生成する。
  論文  参考訳（メタデータ） (2023-08-01T23:29:16Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning [27.92734269206744]
  InstructDialは対話のための命令チューニングフレームワークである。 48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。 分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2022-05-25T11:37:06Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on Spoken Language Understanding [101.24748444126982]
  分解可能なタスクは複雑で、サブタスクの階層から構成される。 しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。 サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T02:53:59Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。