論文の概要: LAD: Language Models as Data for Zero-Shot Dialog

• arxiv url: http://arxiv.org/abs/2207.14393v1
• Date: Thu, 28 Jul 2022 22:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:13:41.496045
• Title: LAD: Language Models as Data for Zero-Shot Dialog
• Title（参考訳）: LAD:ゼロショットダイアログのデータとしての言語モデル
• Authors: Shikib Mehri, Yasemin Altun, Maxine Eskenazi
• Abstract要約: 言語モデル・アズ・データ(Language Models as Data、LAD)は、多種多様な正確な合成データを作成するためのパラダイムである。 LADは、下流のニューラルダイアログモデルをトレーニングするために使用することができる。 LADは意図予測のゼロショット設定で大幅なパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 9.960608453889224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To facilitate zero-shot generalization in taskoriented dialog, this paper proposes Language Models as Data (LAD). LAD is a paradigm for creating diverse and accurate synthetic data which conveys the necessary structural constraints and can be used to train a downstream neural dialog model. LAD leverages GPT-3 to induce linguistic diversity. LAD achieves significant performance gains in zero-shot settings on intent prediction (+15%), slot filling (+31.4 F-1) and next action prediction (+11 F1). Furthermore, an interactive human evaluation shows that training with LAD is competitive with training on human dialogs. LAD is open-sourced, with the code and data available at https://github.com/Shikib/lad.
• Abstract（参考訳）: 本稿では,タスク指向対話におけるゼロショット一般化を容易にするために,Language Models as Data (LAD)を提案する。 LADは、必要な構造的制約を伝達し、下流のニューラルダイアログモデルのトレーニングに使用できる多様な正確な合成データを作成するためのパラダイムである。 LADはGPT-3を利用して言語多様性を誘導する。 LADは、意図予測(+15%)、スロットフィリング(+31.4 F-1)、次のアクション予測(+11 F1)のゼロショット設定において、大幅なパフォーマンス向上を達成する。 さらに,対話的人間評価により,ladによる訓練は,対話における訓練と競合することが示された。 LADはオープンソースで、コードとデータはhttps://github.com/Shikib/lad.orgで公開されている。

関連論文リスト

• ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language [53.8622516025736]
  そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-16T13:11:53Z)
• Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner [51.77263363285369]
  本稿では,対話行動トークンと呼ばれる言語モデルエージェントを用いて,目標指向の対話を計画する手法を提案する。 中心となる考え方は、各発話をアクションとして扱うことで、強化学習のような既存のアプローチを適用することができるゲームに対話を変換することである。
  論文  参考訳（メタデータ） (2024-06-17T18:01:32Z)
• SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback [3.642278451851518]
  対話応答生成におけるコモンセンス改善手法であるSynDICOMを紹介する。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 2つ目のコントリビューションは、2段階の手順である: 自然言語フィードバック(NLF)を予測するためのモデルをトレーニングし、予測されたNLFに条件付けされた応答生成モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-09-18T15:08:48Z)
• LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling [20.002861239367704]
  言語間適応は限られた資源を持つ音声言語理解システムにおいて有効であることが証明されている。 既存の方法はしばしばインテント検出やスロットフィリングに不満足である。 復号化戦略を最適化するために、潜在対話アクション層が提案されている。
  論文  参考訳（メタデータ） (2023-08-05T15:51:45Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation [23.711903266714508]
  MulZDGは、大規模なトレーニングサンプルを持つ英語コーパスから、ゼロサンプルを持つ非英語コーパスへ、知識を効果的に転送することができる。 まず、単言語英語データセットからランダムに選択された翻訳発話を用いて、多言語コードスイッチング対話データセットを構築する。 次に、MulZDGを用いて、コードスイッチングデータセットに基づく統合多言語対話モデルを訓練する。
  論文  参考訳（メタデータ） (2022-08-18T04:28:20Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• AuGPT: Dialogue with Pre-trained Language Models and Data Augmentation [0.0]
  言語モデルファインタニングのための改良された学習目標を提案する。 我々は、トレーニングデータの多様性を高めるために、バックトランスレーションによる大規模なデータ拡張を採用している。 提案モデルは,MultiWOZデータ上での最先端性能を実現し,人間の評価における競合性能を示す。
  論文  参考訳（メタデータ） (2021-02-09T20:53:34Z)
• A Large-Scale Chinese Short-Text Conversation Dataset [77.55813366932313]
  大規模な中国語会話データセットLCCCについて,基本バージョン(680万対話),大バージョン(1120万対話)について述べる。 データセットの品質は、厳格なデータクリーニングパイプラインによって保証されます。 また,LCCC-baseとLCCC-largeで訓練された事前学習対話モデルもリリースした。
  論文  参考訳（メタデータ） (2020-08-10T08:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。