論文の概要: Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information
- arxiv url: http://arxiv.org/abs/2310.05073v1
- Date: Sun, 8 Oct 2023 08:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:44:49.081159
- Title: Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information
- Title(参考訳): 文脈情報の効率的な活用による調停構造抽出
- Authors: Yun Luo and Zhen Yang and Fandong Meng and Yingjie Li and Jie Zhou and
Yue Zhang
- Abstract要約: 本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
- 参考スコア(独自算出の注目度): 79.06082391992545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Argument structure extraction (ASE) aims to identify the discourse structure
of arguments within documents. Previous research has demonstrated that
contextual information is crucial for developing an effective ASE model.
However, we observe that merely concatenating sentences in a contextual window
does not fully utilize contextual information and can sometimes lead to
excessive attention on less informative sentences. To tackle this challenge, we
propose an Efficient Context-aware ASE model (ECASE) that fully exploits
contextual information by enhancing modeling capacity and augmenting training
data. Specifically, we introduce a sequence-attention module and
distance-weighted similarity loss to aggregate contextual information and
argumentative information. Additionally, we augment the training data by
randomly masking discourse markers and sentences, which reduces the model's
reliance on specific words or less informative sentences. Our experiments on
five datasets from various domains demonstrate that our model achieves
state-of-the-art performance. Furthermore, ablation studies confirm the
effectiveness of each module in our model.
- Abstract(参考訳): 引数構造抽出(ASE)は、文書内の引数の談話構造を特定することを目的としている。
従来の研究では、文脈情報は効果的なASEモデルの開発に不可欠であることが示されている。
しかし,コンテクストウィンドウ内の文の連結だけでは文脈情報を完全に活用できないため,情報量の低い文に対して過度な注意が向けられることがある。
この課題に取り組むために,モデリング能力の向上とトレーニングデータの強化により文脈情報を完全に活用する,効率的な文脈認識型aseモデル(ecase)を提案する。
具体的には,文脈情報と議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
さらに,会話マーカーや文をランダムにマスキングすることで学習データを強化し,特定の単語への依存度を低下させるか,あるいは情報文を減少させる。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
さらに,本モデルにおける各モジュールの有効性について検討した。
関連論文リスト
- Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。
最近のデータ拡張手法は文法的誤りの問題を無視することが多い。
本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-16T16:52:07Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Representation Learning for Conversational Data using Discourse Mutual
Information Maximization [9.017156603976915]
構造を意識しない単語・バイ・ワード生成は効果的な会話モデリングには適さないと我々は主張する。
対話表現モデルの学習のための構造認識型相互情報に基づく損失関数DMIを提案する。
本モデルでは,対話評価タスクであるDailyDialog++において,ランダムな負のシナリオと逆のシナリオの両方において,最も有望な性能を示す。
論文 参考訳(メタデータ) (2021-12-04T13:17:07Z) - Efficient Multi-Modal Embeddings from Structured Data [0.0]
マルチモーダルワードセマンティクスは、知覚入力による埋め込みを強化することを目的としている。
ビジュアルグラウンドは言語アプリケーションにも貢献できる。
新しい埋め込みは、テキストベースの埋め込みのための補完的な情報を伝達する。
論文 参考訳(メタデータ) (2021-10-06T08:42:09Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-09-20T18:40:37Z) - Attend to the beginning: A study on using bidirectional attention for
extractive summarization [1.148539813252112]
本稿では,抽出要約モデルの性能向上のために,文書の開始に参画することを提案する。
我々は、テキストデータの最初の数文に出席することで、テキストの早期に重要な情報を導入する傾向を生かしている。
論文 参考訳(メタデータ) (2020-02-09T17:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。