論文の概要: Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction

• arxiv url: http://arxiv.org/abs/2003.11518v2
• Date: Thu, 26 Mar 2020 09:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:38:12.101236
• Title: Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction
• Title（参考訳）: 遠隔監督関係抽出のためのハイブリッド注意型変圧器ブロックモデル
• Authors: Yan Xiao, Yaochu Jin, Ran Cheng, Kuangrong Hao
• Abstract要約: DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
• 参考スコア（独自算出の注目度）: 20.644215991166902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With an exponential explosive growth of various digital text information, it is challenging to efficiently obtain specific knowledge from massive unstructured text information. As one basic task for natural language processing (NLP), relation extraction aims to extract the semantic relation between entity pairs based on the given text. To avoid manual labeling of datasets, distant supervision relation extraction (DSRE) has been widely used, aiming to utilize knowledge base to automatically annotate datasets. Unfortunately, this method heavily suffers from wrong labelling due to the underlying strong assumptions. To address this issue, we propose a new framework using hybrid attention-based Transformer block with multi-instance learning to perform the DSRE task. More specifically, the Transformer block is firstly used as the sentence encoder to capture syntactic information of sentences, which mainly utilizes multi-head self-attention to extract features from word level. Then, a more concise sentence-level attention mechanism is adopted to constitute the bag representation, aiming to incorporate valid information of each sentence to effectively represent the bag. Experimental results on the public dataset New York Times (NYT) demonstrate that the proposed approach can outperform the state-of-the-art algorithms on the evaluation dataset, which verifies the effectiveness of our model for the DSRE task.
• Abstract（参考訳）: 様々なデジタルテキスト情報の指数関数的な爆発的増加に伴い、膨大な非構造化テキスト情報から効率的に特定の知識を得ることが困難である。 自然言語処理(NLP)の1つの基本課題として、関係抽出は、与えられたテキストに基づいてエンティティペア間の意味関係を抽出することを目的としている。 データセットを手動でラベル付けすることを避けるため,データセットの自動アノテートに知識ベースを活用することを目的とした,遠隔監視関係抽出(DSRE)が広く用いられている。 残念ながら、この手法は根底にある強い仮定のために間違ったラベル付けに悩まされている。 この問題に対処するため,DSREタスクの実行にマルチインスタンス学習を用いたハイブリッドアテンションベースのTransformerブロックを用いた新しいフレームワークを提案する。 より具体的には、Transformerブロックは、単語レベルから特徴を抽出するために主に多頭部自己認識を利用する文の構文情報をキャプチャする文エンコーダとして最初に使用される。 そして、より簡潔な文レベルの注目機構を採用してバッグ表現を構成し、各文の有効情報を組み込んでバッグを効果的に表現することを目的とする。 The public dataset New York Times (NYT) の実験結果は、提案手法が評価データセット上で最先端のアルゴリズムより優れており、DSREタスクに対する我々のモデルの有効性が検証できることを示している。

関連論文リスト

• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
  Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。 我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
  論文  参考訳（メタデータ） (2023-07-14T00:10:03Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• Meeting Summarization with Pre-training and Clustering Methods [6.47783315109491]
  HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。 中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。 ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
  論文  参考訳（メタデータ） (2021-11-16T03:14:40Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction [13.354066085659198]
  対比学習は、テキストデータの一般的なデータ拡張方法が不足しているため、自然言語処理では広く利用されていない。 本研究では, 対比学習を用いてBERTモデルからのテキスト表現を改善し, 関係抽出を行う手法を検討する。 3つの関係抽出ベンチマークデータセットの実験結果から,本手法がBERTモデル表現を改善し,最新性能を達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-28T17:50:24Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features [13.97006782398121]
  変換器による双方向表現(BERT)モデルが提案され,多くの自然言語処理タスクにおいて記録破りの成功を収めた。 本研究では,不完全な自動音声認識によるネガティブな影響を軽減するために,信頼度スコアを文表現に組み込むことを検討した。 提案手法の有効性をベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2020-06-01T18:27:48Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。