論文の概要: UniCausal: Unified Benchmark and Model for Causal Text Mining
- arxiv url: http://arxiv.org/abs/2208.09163v1
- Date: Fri, 19 Aug 2022 06:14:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 16:59:58.491422
- Title: UniCausal: Unified Benchmark and Model for Causal Text Mining
- Title(参考訳): UniCausal: 因果テキストマイニングのための統一ベンチマークとモデル
- Authors: Fiona Anting Tan, Xinyu Zuo and See-Kiong Ng
- Abstract要約: UniCausalは因果テキストマイニングのための統一されたベンチマークであり、因果シーケンス分類、因果効果スパン検出、因果ペア分類という3つのタスクにまたがっている。
最初のベンチマークとして、BERTの事前訓練されたモデルをタスクに適応させ、ベースラインスコアを生成しました。
シーケンス分類では70.10%のバイナリF1スコア,スパン検出では52.42%のマクロF1スコア,ペア分類では84.68%のバイナリF1スコアを得た。
- 参考スコア(独自算出の注目度): 7.402967063220846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current causal text mining datasets vary in objectives, data coverage, and
annotation schemes. These inconsistent efforts prevented modeling capabilities
and fair comparisons of model performance. Few datasets include cause-effect
span annotations, which are needed for end-to-end causal extraction. Therefore,
we proposed UniCausal, a unified benchmark for causal text mining across three
tasks: Causal Sequence Classification, Cause-Effect Span Detection and Causal
Pair Classification. We consolidated and aligned annotations of six high
quality human-annotated corpus, resulting in a total of 58,720, 12,144 and
69,165 examples for each task respectively. Since the definition of causality
can be subjective, our framework was designed to allow researchers to work on
some or all datasets and tasks. As an initial benchmark, we adapted BERT
pre-trained models to our task and generated baseline scores. We achieved
70.10% Binary F1 score for Sequence Classification, 52.42% Macro F1 score for
Span Detection, and 84.68% Binary F1 score for Pair Classification.
- Abstract(参考訳): 現在の因果テキストマイニングデータセットは、目的、データカバレッジ、アノテーションスキームによって異なる。
これらの不整合な努力は、モデル性能のモデリング能力と公正な比較を妨げた。
エンドツーエンドの因果抽出に必要な、因果効果スパンアノテーションを含むデータセットは少ない。
そこで本研究では,因果シーケンス分類,因果効果スパン検出,因果ペア分類の3つのタスクにまたがる因果テキストマイニングの統一ベンチマークであるunicausalを提案する。
高品質な6つの注釈付きコーパスのアノテーションを統合し,それぞれ58,720,12,144,69,165のサンプルを作成した。
因果関係の定義は主観的であるため、我々のフレームワークは研究者がいくつかの、またはすべてのデータセットやタスクに取り組むことができるように設計されている。
最初のベンチマークとして、BERTの事前訓練されたモデルをタスクに適応させ、ベースラインスコアを生成しました。
シーケンス分類では70.10%のバイナリF1スコア,スパン検出では52.42%のマクロF1スコア,ペア分類では84.68%のバイナリF1スコアを得た。
関連論文リスト
- Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳(メタデータ) (2024-10-07T17:55:10Z) - A Unified Causal View of Instruction Tuning [76.1000380429553]
メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。
主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
論文 参考訳(メタデータ) (2024-02-09T07:12:56Z) - Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T22:28:34Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction [12.558498579998862]
因果知識抽出は、因果関係を検出することによって、テキストから関連する原因や効果を抽出するタスクである。
因果的知識抽出のための3つの配列タグ付けモデルの徹底的な解析を行い、因果的知識抽出のためのスパンベースアプローチと比較する。
我々の実験は、事前訓練された言語モデル(例えばBERT)からの埋め込みがこのタスクに顕著なパフォーマンス向上をもたらすことを示している。
論文 参考訳(メタデータ) (2023-08-07T19:50:59Z) - USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。
このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
論文 参考訳(メタデータ) (2023-05-23T17:39:54Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳(メタデータ) (2021-01-13T09:55:29Z) - Domain Adaptative Causality Encoder [52.779274858332656]
我々は,適応因果同定と局所化の課題に対処するために,依存木の特徴と敵対学習を活用する。
我々は、テキストにあらゆる種類の因果関係を統合する新しい因果関係データセット、MedCausを提案する。
論文 参考訳(メタデータ) (2020-11-27T04:14:55Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳(メタデータ) (2020-08-08T03:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。