論文の概要: Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for
Long-Turn Open-Domain Dialogue Pre-training
- arxiv url: http://arxiv.org/abs/2305.02606v2
- Date: Sun, 22 Oct 2023 07:41:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 12:44:05.163866
- Title: Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for
Long-Turn Open-Domain Dialogue Pre-training
- Title（参考訳）: re$^3$dial:long-turn open-domain dialogue pre-trainingのための対話コーパスの検索、再構成、再スケール
- Authors: Jiaxin Wen, Hao Zhou, Jian Guan, Minlie Huang
- Abstract要約: 既存の事前学習コーパスのほとんどの対話は、3回未満の対話を含む。
数十億ドル規模のロングターン対話を自動的に構築するRetrieve, Reorganize, Rescale framework (Re$3$Dial)を提案する。
上記のプロセスを繰り返すことで、Re$3$Dialはコヒーレントなロングターン対話をもたらすことができる。
- 参考スコア（独自算出の注目度）: 90.3412708846419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training on large-scale open-domain dialogue data can substantially
improve the performance of dialogue models. However, the pre-trained dialogue
model's ability to utilize long-range context is limited due to the scarcity of
long-turn dialogue sessions. Most dialogues in existing pre-training corpora
contain fewer than three turns of dialogue. To alleviate this issue, we propose
the Retrieve, Reorganize and Rescale framework (Re$^3$Dial), which can
automatically construct billion-scale long-turn dialogues by reorganizing
existing short-turn ones. Given a short-turn session, Re$^3$Dial first employs
a session retriever to retrieve coherent consecutive sessions. To this end, we
train the retriever to capture semantic and discourse relations within
multi-turn dialogues through contrastive training. Next, Re$^3$Dial samples a
session from retrieved results following a diversity sampling strategy, which
is designed to penalize repetitive or generic sessions. A longer session is
then derived by concatenating the original session and the sampled session. By
repeating the above process, Re$^3$Dial can yield a coherent long-turn
dialogue. Extensive experiments on multiple multi-turn dialogue benchmarks
demonstrate that Re$^3$Dial significantly improves the dialogue model's ability
to utilize long-range context and thus generate more sensible and informative
responses. Finally, we build a toolkit for efficiently rescaling conversations
with Re$^3$Dial, which enables us to construct a corpus containing 1B Chinese
dialogue sessions with 11.3 turns on average (5$\times$ longer than the
original corpus). Our retriever model, code, and data is publicly available at
\url{https://github.com/thu-coai/Re3Dial}.
- Abstract（参考訳）: 大規模オープンドメイン対話データの事前学習は対話モデルの性能を大幅に向上させることができる。
しかし,長期対話セッションの不足により,事前学習した対話モデルの長距離文脈利用能力は制限されている。
既存の訓練済みコーパスのほとんどの対話は3回未満の対話を含む。
この問題を軽減するために,既存のショートターンを再構成することで,数十億ドル規模のロングターン対話を自動的に構築できるRetrieve, Reorganize, Rescaleフレームワーク(Re$^3$Dial)を提案する。
短いターンセッションが与えられると、re$^3$dialはまずセッションレトリバーを使用してコヒーレントな連続セッションを取得する。
そこで本研究では,対話における意味と談話の関係をコントラスト的訓練によって捉えるように,レトリバーを訓練する。
次に、Re$^3$Dialは、繰り返しセッションやジェネリックセッションをペナルライズするために設計された多様性サンプリング戦略に従って、検索した結果からセッションをサンプリングする。
長いセッションは、元のセッションとサンプルセッションを連結することで導き出される。
上記のプロセスを繰り返すことで、^3$dialはコヒーレントなロングターン対話が得られる。
複数のマルチターンダイアログベンチマークの大規模な実験により、Re$3$Dialは、長距離コンテキストを利用する対話モデルの能力を著しく改善し、より合理的で有益な応答を生成することを示した。
最後に、Re$3$Dialで会話を効率的に再スケーリングするためのツールキットを構築し、11.3ターンで1Bの中国語対話セッションを含むコーパスを構築することができる(元のコーパスよりも5$\times$長い)。
我々の検索モデル、コード、データは、 \url{https://github.com/thu-coai/Re3Dial}で公開されています。
関連論文リスト
- Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
本稿では,新しい対面音声対話モデルを提案する。
ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。
また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
論文 参考訳（メタデータ） (2024-06-12T04:48:36Z) - Conversation Chronicles: Towards Diverse Temporal and Relational
Dynamics in Multi-Session Conversations [9.249662593315541]
我々は,長期会話設定を実装するために,新たに100万件の多セッション対話データセットであるConversation Chroniclesを導入する。
会話年代記の対話エピソードは、一貫性と一貫した相互作用を維持しながら、それらの特性を反映していることを示す。
また、時系列要約と対話生成モジュールで構成されるReBotと呼ばれる対話モデルを提案する。
論文 参考訳（メタデータ） (2023-10-20T11:06:21Z) - DialoGPS: Dialogue Path Sampling in Continuous Semantic Space for Data
Augmentation in Multi-Turn Conversations [18.98951277038404]
オープンドメイン対話生成タスクでは、ほとんどのデータセットのコンテキストとレスポンスは1対1でマッピングされる。
連続意味空間におけるDialoGue Path Smpling(DialoGPS)を提案する。
論文 参考訳（メタデータ） (2023-06-29T08:12:47Z) - Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。
ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文 参考訳（メタデータ） (2023-05-24T14:06:27Z) - DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。
実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-20T06:21:21Z) - Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。
本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。
我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
論文 参考訳（メタデータ） (2022-10-09T06:32:58Z) - Sparse and Dense Approaches for the Full-rank Retrieval of Responses for
Dialogues [11.726528038065764]
我々は、数百万のレスポンスを最大$n$で検索する、より現実的なレスポンス検索のタスクに焦点を当てている。
3つの異なる情報探索対話データセットに基づいて,学習された応答拡大手法がスパース検索の確固たるベースラインであることを明らかにする。
中間訓練で高密度な検索を行うのに最適な手法が得られ、次いでターゲットの会話データを微調整する。
論文 参考訳（メタデータ） (2022-04-22T08:15:15Z) - Dialogue Summaries as Dialogue States (DS2), Template-Guided
Summarization for Few-shot Dialogue State Tracking [16.07100713414678]
DST(Few-shot dialogue state tracking)は、この問題に対する現実的な解決策である。
本稿では,対話状態追跡を対話要約問題として再検討する。
論文 参考訳（メタデータ） (2022-03-03T07:54:09Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳（メタデータ） (2020-05-27T02:05:33Z) - Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。
我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。
実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文 参考訳（メタデータ） (2020-04-17T03:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。