論文の概要: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- arxiv url: http://arxiv.org/abs/2306.04357v3
- Date: Wed, 14 Jun 2023 04:18:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 11:10:06.754919
- Title: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- Title（参考訳）: 検索型対話システムのためのテキスト自動エンコーダ
- Authors: Zhenpeng Su and Xing Wu and Wei Zhou and Guangyuan Ma and Songlin Hu
- Abstract要約: 対話応答の選択は、所定のユーザとシステム発話履歴に基づいて、複数の候補から適切な応答を選択することを目的としている。
近年, 学習後の対話応答選択の精度向上が試みられ, 主にナイーブなマスク付き言語モデリング手法に頼っている。
対話応答選択に適した直感的かつ効果的なポストトレーニング手法であるDial-MAE(Dialogue Contextual Masking Auto-Encoder)を提案する。
- 参考スコア（独自算出の注目度）: 21.06857395911063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dialogue response selection aims to select an appropriate response from
several candidates based on a given user and system utterance history. Recent
studies have been improving the accuracy of dialogue response selection through
post-training, mostly relying on naive masked language modeling methods.
However, the recently developed generative methods have shown promising text
representation capabilities in IR community, which could potentially lead to
better dialogue semantics modeling. Thus, in this paper, we propose Dial-MAE
(Dialogue Contextual Masking Auto-encoder), a straightforward yet effective
post-training technique tailored for dialogue response selection. Dial-MAE uses
an asymmetric encoder-decoder architecture that learns to better compress the
semantics of the dialogue into dialogue-dense vectors. The process of Dial-MAE
involves a deep encoder creating a dialogue embedding with the masked dialogue
context, followed by a shallow decoder that uses this embedding along with the
highly masked response to restore the original response. Our experiments have
demonstrated that Dial-MAE is highly effective, achieving state-of-the-art
performance on two commonly evaluated benchmarks.
- Abstract（参考訳）: 対話応答選択は、与えられたユーザとシステム発話履歴に基づいて、複数の候補から適切な応答を選択することを目的としている。
近年, 学習後の対話応答選択の精度が向上し, 主にナイーブマスク型言語モデリング手法に依拠している。
しかし、最近開発された生成手法は、IRコミュニティにおいて有望なテキスト表現能力を示しており、よりよい対話セマンティクスモデリングにつながる可能性がある。
そこで本稿では,対話応答選択のための自動学習手法であるdialog-mae(dialogue context masking auto-encoder)を提案する。
dial-maeは非対称エンコーダ-デコーダアーキテクチャを使用して、対話の意味を対話型ベクトルに圧縮する。
Dial-MAEのプロセスでは、ディープエンコーダがダイアログのコンテキストに埋め込まれたディープエンコーダを作成し、続いて浅層デコーダが、この埋め込みとマスキングされた応答を使って元の応答を復元する。
実験の結果,dial-maeは2つのベンチマークで最先端の性能を得られた。
関連論文リスト
- Fine-grained Conversational Decoding via Isotropic and Proximal Search [17.904421465456814]
本稿では, テクスティフィケーションと近位探索(IPS)と呼ばれる, きめ細かい会話復号法を提案する。
本手法は,文脈に対する情報伝達と識別を維持しつつ,意味集中型応答を生成するように設計されている。
実験により,本手法は,自動評価指標と人的評価指標の両方において,対話分野における既存の復号化戦略よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-12T08:38:12Z) - SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。
我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。
また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
論文 参考訳（メタデータ） (2023-05-15T06:08:01Z) - Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance
Representation [51.22712675266523]
対話トピック(DTS)は、様々な対話モデリングタスクにおいて重要な役割を果たす。
本稿では,ラベルなし対話データからトピック対応発話表現を学習する,教師なしDSSフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-04T11:35:23Z) - Dialog act guided contextual adapter for personalized speech recognition [9.672512327395435]
マルチターンダイアログにおけるパーソナライゼーションは、エンドツーエンドの自動音声認識(E2E ASR)モデルにとって長年の課題であった。
近年,ユーザカタログを用いた稀な単語認識に取り組みつつある。
本稿では,対話行動ガイド付きコンテキストアダプタネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-31T05:13:44Z) - An Equal-Size Hard EM Algorithm for Diverse Dialogue Generation [27.445562543667357]
多様な対話生成のためのマルチデコーダモデルを学習するための等サイズハード期待-最大化アルゴリズムを提案する。
提案アルゴリズムでは, サンプルをハードな方法でデコーダに割り当て, また, 全てのデコーダが十分に訓練されていることを保証するために, 均等なアサインメント制約を課す。
論文 参考訳（メタデータ） (2022-09-29T08:41:32Z) - SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog
Understanding and Generation [123.37377363355363]
SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。
幅広いダウンストリームダイアログタスクを効果的に微調整できる。
その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
論文 参考訳（メタデータ） (2022-09-14T14:17:57Z) - Discovering Dialog Structure Graph for Open-Domain Dialog Generation [51.29286279366361]
chitchat corporaの対話構造を無監督で発見します。
次に、下流システムでのダイアログ生成を容易にするために利用します。
本稿では,グラフニューラルネットワーク(DVAE-GNN)を用いた離散変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-12-31T10:58:37Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳（メタデータ） (2020-12-14T10:58:01Z) - Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。
本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。
我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
論文 参考訳（メタデータ） (2020-10-04T08:00:19Z) - Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
音声対話に適応した汎用表現を学習するための新しい手法を提案する。
変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。
プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
論文 参考訳（メタデータ） (2020-09-23T13:54:57Z) - Conversation Learner -- A Machine Teaching Tool for Building Dialog
Managers for Task-Oriented Dialog Systems [57.082447660944965]
Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。
ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。
ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
論文 参考訳（メタデータ） (2020-04-09T00:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。