論文の概要: UniCausal: Unified Benchmark and Repository for Causal Text Mining
- arxiv url: http://arxiv.org/abs/2208.09163v2
- Date: Fri, 14 Apr 2023 09:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 17:04:16.850664
- Title: UniCausal: Unified Benchmark and Repository for Causal Text Mining
- Title(参考訳): UniCausal: 因果テキストマイニングのための統一ベンチマークとリポジトリ
- Authors: Fiona Anting Tan, Xinyu Zuo and See-Kiong Ng
- Abstract要約: 3つのタスクにまたがる因果テキストマイニングのための統一ベンチマークUniCausalを提案する。
我々は,6つの高品質な注釈,主に人間による注釈付きコーパスの統合とアライメントを行う。
最初のベンチマークを作成するために、BERTの事前訓練済み言語モデルを各タスクに微調整し、それぞれ70.10%のバイナリF1、52.42%のマクロF1、84.68%のバイナリF1スコアを達成した。
- 参考スコア(独自算出の注目度): 7.402967063220846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current causal text mining datasets vary in objectives, data coverage, and
annotation schemes. These inconsistent efforts prevent modeling capabilities
and fair comparisons of model performance. Furthermore, few datasets include
cause-effect span annotations, which are needed for end-to-end causal relation
extraction. To address these issues, we propose UniCausal, a unified benchmark
for causal text mining across three tasks: (I) Causal Sequence Classification,
(II) Cause-Effect Span Detection and (III) Causal Pair Classification. We
consolidated and aligned annotations of six high quality, mainly
human-annotated, corpora, resulting in a total of 58,720, 12,144 and 69,165
examples for each task respectively. Since the definition of causality can be
subjective, our framework was designed to allow researchers to work on some or
all datasets and tasks. To create an initial benchmark, we fine-tuned BERT
pre-trained language models to each task, achieving 70.10% Binary F1, 52.42%
Macro F1, and 84.68% Binary F1 scores respectively.
- Abstract(参考訳): 現在の因果テキストマイニングデータセットは、目的、データカバレッジ、アノテーションスキームによって異なる。
これらの矛盾した努力は、モデル性能のモデリング能力と公正な比較を妨げる。
さらに、エンドツーエンド因果関係抽出に必要な原因影響スパンアノテーションを含むデータセットも少なくない。
そこで本研究では, 因果系列分類, (ii) 因果効果スパン検出, (iii) 因果ペア分類の3つのタスクにまたがる因果テキストマイニングの統一ベンチマークであるunicausalを提案する。
その結果,それぞれ58,720例,12,144例,69,165例が得られた。
因果関係の定義は主観的であるため、我々のフレームワークは研究者がいくつかの、またはすべてのデータセットやタスクに取り組むことができるように設計されている。
最初のベンチマークを作成するために、BERTの事前訓練済み言語モデルを各タスクに微調整し、それぞれ70.10%のバイナリF1、52.42%のマクロF1、84.68%のバイナリF1スコアを達成した。
関連論文リスト
- Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳(メタデータ) (2024-10-07T17:55:10Z) - A Unified Causal View of Instruction Tuning [76.1000380429553]
メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。
主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
論文 参考訳(メタデータ) (2024-02-09T07:12:56Z) - Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T22:28:34Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction [12.558498579998862]
因果知識抽出は、因果関係を検出することによって、テキストから関連する原因や効果を抽出するタスクである。
因果的知識抽出のための3つの配列タグ付けモデルの徹底的な解析を行い、因果的知識抽出のためのスパンベースアプローチと比較する。
我々の実験は、事前訓練された言語モデル(例えばBERT)からの埋め込みがこのタスクに顕著なパフォーマンス向上をもたらすことを示している。
論文 参考訳(メタデータ) (2023-08-07T19:50:59Z) - USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。
このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
論文 参考訳(メタデータ) (2023-05-23T17:39:54Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳(メタデータ) (2021-01-13T09:55:29Z) - Domain Adaptative Causality Encoder [52.779274858332656]
我々は,適応因果同定と局所化の課題に対処するために,依存木の特徴と敵対学習を活用する。
我々は、テキストにあらゆる種類の因果関係を統合する新しい因果関係データセット、MedCausを提案する。
論文 参考訳(メタデータ) (2020-11-27T04:14:55Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳(メタデータ) (2020-08-08T03:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。