論文の概要: Extracting Cause-Effect Pairs from a Sentence with a Dependency-Aware Transformer Model

• arxiv url: http://arxiv.org/abs/2507.09925v1
• Date: Mon, 14 Jul 2025 05:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.275542
• Title: Extracting Cause-Effect Pairs from a Sentence with a Dependency-Aware Transformer Model
• Title（参考訳）: 依存認識変換器モデルを用いた文からの因果効果ペアの抽出
• Authors: Md Ahsanul Kabir, Abrar Jahin, Mohammad Al Hasan,
• Abstract要約: DepBERTは様々な最先端の因果抽出法よりも優れている。 本研究では,文の依存木を組み込んで変換器モデルを拡張するDepBERTを提案する。
• 参考スコア（独自算出の注目度）: 3.9271338080639753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extracting cause and effect phrases from a sentence is an important NLP task, with numerous applications in various domains, including legal, medical, education, and scientific research. There are many unsupervised and supervised methods proposed for solving this task. Among these, unsupervised methods utilize various linguistic tools, including syntactic patterns, dependency tree, dependency relations, etc. among different sentential units for extracting the cause and effect phrases. On the other hand, the contemporary supervised methods use various deep learning based mask language models equipped with a token classification layer for extracting cause and effect phrases. Linguistic tools, specifically, dependency tree, which organizes a sentence into different semantic units have been shown to be very effective for extracting semantic pairs from a sentence, but existing supervised methods do not have any provision for utilizing such tools within their model framework. In this work, we propose DepBERT, which extends a transformer-based model by incorporating dependency tree of a sentence within the model framework. Extensive experiments over three datasets show that DepBERT is better than various state-of-the art supervised causality extraction methods.
• Abstract（参考訳）: 文から原因と効果語を抽出することは重要なNLP課題であり、法学、医学、教育、科学研究など様々な分野に応用されている。 この問題を解決するために、多くの教師なしおよび教師なしの手法が提案されている。 これらのうち、教師なしの手法は、原因や効果句を抽出するために、様々な意味単位のうち、構文パターン、依存木、依存関係など様々な言語ツールを利用する。 一方、現代の教師手法では、原因や効果句を抽出するトークン分類層を備えた、様々な深層学習ベースのマスク言語モデルを用いている。 文を異なる意味単位に整理する言語的ツール、特に依存木は、文から意味ペアを抽出するのに非常に効果的であることが示されているが、既存の教師付きメソッドは、そのようなツールをモデルフレームワーク内で利用するためのいかなる規定も持っていない。 本研究では,文の依存木をモデルフレームワークに組み込むことで,変換器モデルを拡張したDepBERTを提案する。 3つのデータセットに対する大規模な実験により、DepBERTは様々な最先端の因果抽出法よりも優れていることが示された。

関連論文リスト

• Composable Interventions for Language Models [60.32695044723103]
  言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。 しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。 複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
  論文  参考訳（メタデータ） (2024-07-09T01:17:44Z)
• Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
  本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。 本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。 モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
  論文  参考訳（メタデータ） (2023-10-18T12:32:07Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Exploring Dimensionality Reduction Techniques in Multilingual Transformers [64.78260098263489]
  本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。 これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
  論文  参考訳（メタデータ） (2022-04-18T17:20:55Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling [45.96663013609177]
  依存関係と選挙区構造を同時に誘導できる新しいモデルであるStructFormerを導入する。 我々は,新しい依存性制約自己保持機構を通じて,変換器に誘導される依存性関係を微分可能な方法で統合する。 実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングにおいて, モデルが強い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-01T21:54:51Z)
• Linguistic Structure Guided Context Modeling for Referring Image Segmentation [61.701577239317785]
  本稿では,マルチモーダルコンテキストを相互モーダル相互作用によりモデル化する「ガザ・プロパゲート・ディストリビュート」方式を提案する。 我々のLSCMモジュールは依存パーシングツリーワードグラフ(DPT-WG)を構築し、文の有効なマルチモーダルコンテキストを含むようにすべての単語を誘導する。
  論文  参考訳（メタデータ） (2020-10-01T16:03:51Z)
• Composed Variational Natural Language Generation for Few-shot Intents [118.37774762596123]
  現実的な不均衡シナリオにおいて、数ショットのインテントに対するトレーニング例を生成します。 生成した発話の質を評価するために、一般化された複数ショット意図検出タスクについて実験を行った。 提案モデルでは,2つの実世界の意図検出データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-09-21T17:48:43Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。