論文の概要: Causal Document-Grounded Dialogue Pre-training

• arxiv url: http://arxiv.org/abs/2305.10927v3
• Date: Sun, 5 Nov 2023 15:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:57:00.644892
• Title: Causal Document-Grounded Dialogue Pre-training
• Title（参考訳）: 因果文書による対話の事前学習
• Authors: Yingxiu Zhao, Bowen Yu, Haiyang Yu, Bowen Li, Jinyang Li, Chao Wang, Fei Huang, Yongbin Li, Nevin L. Zhang
• Abstract要約: 百万レベルのDocGD事前学習コーパスを構築するための因果完全データセット構築戦略を提案する。 3つのベンチマークデータセットの実験により、我々の因果前トレーニングは、完全な教師付き、低リソース、少数ショット、ゼロショット設定の下で、かなり、一貫した改善を達成できることが示された。
• 参考スコア（独自算出の注目度）: 81.16429056652483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of document-grounded dialogue (DocGD) is to generate a response by grounding the evidence in a supporting document in accordance with the dialogue context. This process involves four variables that are causally connected. Recently, task-specific pre-training has greatly boosted performances on many downstream tasks. Existing DocGD methods, however, continue to rely on general pre-trained language models without a specifically tailored pre-training approach that explicitly captures the causal relationships. To tackle this issue, we are the first to present a causally-complete dataset construction strategy for building million-level DocGD pre-training corpora. To better capture causality, we further propose a causally-perturbed pre-training strategy, which introduces causal perturbations on the variables and optimizes the overall causal effect. Experiments on three benchmark datasets demonstrate that our causal pre-training achieves considerable and consistent improvements under fully-supervised, low-resource, few-shot, and zero-shot settings.
• Abstract（参考訳）: 文書地上対話(DocGD)の目標は,その対話コンテキストに応じて,その証拠を支援文書に接地することで応答を生成することである。 このプロセスには因果関係を持つ4つの変数が含まれる。 近年,タスク固有の事前学習によって下流タスクのパフォーマンスが大幅に向上している。 しかし、既存のDocGD手法は、因果関係を明示的にキャプチャする特定の調整済み事前学習アプローチを使わずに、一般的な事前学習言語モデルに依存し続けている。 この問題に対処するために、100万レベルのDocGD事前学習コーパスを構築するための因果完全データセット構築戦略を最初に提示する。 因果関係をよりよく把握するために,変数に対する因果摂動を導入し,全体の因果効果を最適化する因果摂動前学習戦略を提案する。 3つのベンチマークデータセットの実験により、我々の因果前トレーニングは、完全な教師付き、低リソース、少数ショット、ゼロショット設定の下で、かなり、一貫した改善を達成している。

関連論文リスト

• Analysing The Impact of Sequence Composition on Language Model Pre-Training [20.929800523719187]
  本研究では,プレトレーニングシーケンス構成戦略がモデルの一般化特性に及ぼす影響について検討する。 因果マスキングを適用することで、事前トレーニング中に以前の文書から注意をそらす情報を含めることができる。 文書内因果マスキングでは、各トークンの確率は、同じ文書内の前のトークンにのみ条件付けられる。
  論文  参考訳（メタデータ） (2024-02-21T18:23:16Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Improving Weakly Supervised Sound Event Detection with Causal Intervention [46.229038054764956]
  既存の弱教師付き音響事象検出作業は、両タイプの同時発生を同時に調査していない。 まず、構造因果モデル(SCM)を構築し、コンテキストが共起共同設立者の主な原因であることを明らかにする。 因果解析に基づいて、WSSEDの因果介入(CI)手法を提案し、共起共同設立者の負の影響を除去する。
  論文  参考訳（メタデータ） (2023-03-10T03:13:36Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction [22.746071199667146]
  Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。 本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。 さらに,事前学習した言語モデルから関連する知識を引き出すために,プロンプトベースのエンコーダデコーダモデルを統合する。
  論文  参考訳（メタデータ） (2022-05-01T16:03:54Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Guided Generation of Cause and Effect [52.44584102429394]
  本稿では,原因や影響のセンテンシャルな表現を提示する条件付きテキスト生成フレームワークを提案する。 このフレームワークは2つの新しいリソースに依存している: 因果パターンを表現した大規模な英語文の収集、および大きな語彙因果知識グラフの構築に関する以前の研究に対する改良。
  論文  参考訳（メタデータ） (2021-07-21T02:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。