論文の概要: ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification

• arxiv url: http://arxiv.org/abs/2203.02225v1
• Date: Fri, 4 Mar 2022 10:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 14:53:13.964458
• Title: ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification
• Title（参考訳）: claret: イベント中心の生成と分類のための相関認識コンテキストからイベントへのトランスフォーマーの事前トレーニング
• Authors: Yucheng Zhou, Tao Shen, Xiubo Geng, Guodong Long, Daxin Jiang
• Abstract要約: 本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
• 参考スコア（独自算出の注目度）: 74.6318379374801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating new events given context with correlated ones plays a crucial role in many event-centric reasoning tasks. Existing works either limit their scope to specific scenarios or overlook event-level correlations. In this paper, we propose to pre-train a general Correlation-aware context-to-Event Transformer (ClarET) for event-centric reasoning. To achieve this, we propose three novel event-centric objectives, i.e., whole event recovering, contrastive event-correlation encoding and prompt-based event locating, which highlight event-level correlations with effective training. The proposed ClarET is applicable to a wide range of event-centric reasoning scenarios, considering its versatility of (i) event-correlation types (e.g., causal, temporal, contrast), (ii) application formulations (i.e., generation and classification), and (iii) reasoning types (e.g., abductive, counterfactual and ending reasoning). Empirical fine-tuning results, as well as zero- and few-shot learning, on 9 benchmarks (5 generation and 4 classification tasks covering 4 reasoning types with diverse event correlations), verify its effectiveness and generalization ability.
• Abstract（参考訳）: 関連付けられたコンテキストで与えられた新しいイベントを生成することは、多くのイベント中心の推論タスクにおいて重要な役割を果たす。 既存の作業は、スコープを特定のシナリオに制限するか、イベントレベルの相関を見落としている。 本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 そこで本研究では,イベントレベルの相関を効果的に強調する,イベントリカバリ,コントラスト型イベント相関エンコーディング,プロンプト型イベントロケーティングという3つの新しいイベント中心目標を提案する。 提案されたClarETは、その汎用性を考慮して、幅広いイベント中心の推論シナリオに適用できる。 (i)イベント相関型(例えば因果関係、時間関係、コントラスト) (ii)出願の定式化(すなわち、生成及び分類)及び (三)推論の種類(例えば、帰納的、反実的、終了的推論) 9つのベンチマーク(さまざまなイベント相関を持つ4つの推論タイプをカバーする5つの世代と4つの分類タスク)において、経験的な微調整結果とゼロショット学習と、ゼロショット学習は、その有効性と一般化能力を検証する。

関連論文リスト

• EVIT: Event-Oriented Instruction Tuning for Event Reasoning [18.012724531672813]
  イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度が一貫して示されていない。
  論文  参考訳（メタデータ） (2024-04-18T08:14:53Z)
• Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering [30.000134835133522]
  事象因果同定(DECI)は、文書中の2つの事象間の因果関係を特定することを目的としている。 近年の研究では、事前訓練された言語モデルを用いて事象因果関係を生成する傾向にある。 本稿では,合理的かつ構造を考慮した因果的質問応答による事象因果同定を強化するためのマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:41:58Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• Event Causality Extraction with Event Argument Correlations [13.403222002600558]
  Event Causality extractは、プレーンテキストから因果関係のイベント因果関係のペアを抽出することを目的としている。 本稿では,ECE の時間内および時間内引数相関を捉えるための二重グリッドタギング方式を提案する。
  論文  参考訳（メタデータ） (2023-01-27T09:48:31Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Event-Centric Question Answering via Contrastive Learning and Invertible Event Transformation [29.60817278635999]
  そこで我々は,TranCLRと呼ばれる,対照的な学習と可逆的なイベント変換を備えた新しいQAモデルを提案する。 提案モデルは,イベントの意味的ベクトルを共通事象埋め込み空間に投影し,コントラスト学習で学習し,イベントの意味的知識を主流のQAパイプラインに自然に注入するために,可逆変換行列を利用する。
  論文  参考訳（メタデータ） (2022-10-24T01:15:06Z)
• EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction [52.43978926985928]
  本稿では、トレーニングと推論のための拡張コンテキストを備えたイベント・アウェア・引数抽出(EA$2$E)モデルを紹介する。 WIKIEVENTSとACE2005データセットの実験結果から,EA$2$Eの有効性が示された。
  論文  参考訳（メタデータ） (2022-05-30T04:33:51Z)
• Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
  本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。 我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
  論文  参考訳（メタデータ） (2021-09-13T20:50:37Z)
• ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning [49.795767003586235]
  イベントセマンティックリレーション推論のための包括的な機械学習理解データセットESTERを紹介します。 もっともよく使われるイベント意味関係を5つ検討し、質問応答タスクとして定式化します。 実験の結果、現在のSOTAシステムは、イベントベースF1、トークンベースF1、HIT@1スコアそれぞれ60.5%、57.8%、76.3%を達成した。
  論文  参考訳（メタデータ） (2021-04-16T19:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。