論文の概要: Instruct Once, Chat Consistently in Multiple Rounds: An Efficient Tuning
Framework for Dialogue
- arxiv url: http://arxiv.org/abs/2402.06967v1
- Date: Sat, 10 Feb 2024 14:52:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:19:46.708809
- Title: Instruct Once, Chat Consistently in Multiple Rounds: An Efficient Tuning
Framework for Dialogue
- Title(参考訳): インストラクション チャットを複数ラウンドで一貫して行う - 対話のための効率的なチューニングフレームワーク
- Authors: Jian Wang, Chak Tou Leong, Jiashuo Wang, Dongding Lin, Wenjie Li,
Xiao-Yong Wei
- Abstract要約: マルチラウンド対話チューニング(Midi-Tuning)フレームワークを提案する。
エージェントとユーザを、大きな言語モデル上に構築された2つのアダプタで個別にモデル化する。
- 参考スコア(独自算出の注目度): 14.595548353288525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tuning pretrained language models for dialogue generation has been a
prevalent paradigm for building capable dialogue agents. Yet, traditional
tuning narrowly views dialogue generation as resembling other language
generation tasks, ignoring the role disparities between two speakers and the
multi-round interactive process that dialogues ought to be. Such a manner leads
to unsatisfactory chat consistency of the built agent. In this work, we
emphasize the interactive, communicative nature of dialogue and argue that it
is more feasible to model the speaker roles of agent and user separately,
enabling the agent to adhere to its role consistently. We propose an efficient
Multi-round Interactive Dialogue Tuning (Midi-Tuning) framework. It models the
agent and user individually with two adapters built upon large language models,
where they utilize utterances round by round in alternating order and are tuned
via a round-level memory caching mechanism. Extensive experiments demonstrate
that, our framework performs superior to traditional fine-tuning and harbors
the tremendous potential for improving dialogue consistency.
- Abstract(参考訳): 対話生成のための事前学習された言語モデルのチューニングは、有能な対話エージェントを構築するための一般的なパラダイムである。
しかし、従来のチューニングでは、対話生成は他の言語生成タスクと似ており、2人の話者と対話するべきマルチラウンドの対話プロセスとの間の役割の相違を無視している。
このようなやり方は、構築されたエージェントの満足できないチャット一貫性につながる。
本稿では対話の対話的、コミュニケーション的性質を強調し、エージェントとユーザの話者の役割を個別にモデル化することがより可能であり、エージェントがその役割に一貫して従うことができると論じる。
マルチラウンド対話チューニング(Midi-Tuning)フレームワークを提案する。
エージェントとユーザを、大きな言語モデル上に構築された2つのアダプタで個別にモデル化する。
広範な実験によって、我々のフレームワークは従来の微調整よりも優れており、対話の一貫性を改善する大きな可能性を秘めています。
関連論文リスト
- Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。
これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。
本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
論文 参考訳(メタデータ) (2023-10-31T14:12:07Z) - Towards human-like spoken dialogue generation between AI agents from
written dialogue [8.4989907582951]
本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。
本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
論文 参考訳(メタデータ) (2023-10-02T11:03:20Z) - Unified Conversational Models with System-Initiated Transitions between
Chit-Chat and Task-Oriented Dialogues [4.714297769572548]
対話モードが1つの対話モードで変化した場合に発生する「潜在的イニシアチブ」について検討する。
システム開始遷移をトリガーする遷移文を積極的に生成できる2つの効率的なプロンプトモデルに寄与する。
論文 参考訳(メタデータ) (2023-07-04T11:53:23Z) - Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。
我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。
我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-06T19:17:47Z) - STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。
本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。
変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-24T04:39:54Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳(メタデータ) (2022-08-16T08:21:12Z) - Act-Aware Slot-Value Predicting in Multi-Domain Dialogue State Tracking [5.816391291790977]
対話状態追跡(DST)は、人間と機械の相互作用を追跡し、対話を管理するための状態表現を生成することを目的としている。
機械読解の最近の進歩は、対話状態追跡のための分類型と非分類型のスロットの両方を予測する。
我々は対話行為を定式化し、機械読解の最近の進歩を活用し、対話状態追跡のためのカテゴリー型と非カテゴリ型の両方のスロットを予測する。
論文 参考訳(メタデータ) (2022-08-04T05:18:30Z) - UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented
Dialogues [59.499965460525694]
上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。
我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。
我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
論文 参考訳(メタデータ) (2021-10-15T11:56:47Z) - Filling the Gap of Utterance-aware and Speaker-aware Representation for
Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。
既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。
本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-09-14T15:07:19Z) - TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented
Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。
事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文 参考訳(メタデータ) (2020-04-15T04:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。