論文の概要: A Simple, Strong and Robust Baseline for Distantly Supervised Relation Extraction

• arxiv url: http://arxiv.org/abs/2110.07415v1
• Date: Thu, 14 Oct 2021 14:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 13:55:59.488022
• Title: A Simple, Strong and Robust Baseline for Distantly Supervised Relation Extraction
• Title（参考訳）: 遠方教師付き関係抽出のための単純で強固でロバストなベースライン
• Authors: Vipul Rathore, Kartikeya Badola, Mausam, Parag Singla
• Abstract要約: 私たちはPassage-Attと呼ばれる新しいアグリゲーションスキームを思いついた。 このアグリゲーションスキームでは、エンティティペアに言及するすべてのインスタンスを"インスタンスのパス"にまとめます。 これらの要約は、潜在的な三重項の妥当性を予測するために使われる。 BERTをパスエンコーダとして使用したPassage-Attは,3つの異なる設定で最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 19.146415895872956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distantly supervised relation extraction (DS-RE) is generally framed as a multi-instance multi-label (MI-ML) task, where the optimal aggregation of information from multiple instances is of key importance. Intra-bag attention (Lin et al., 2016) is an example of a popularly used aggregation scheme for this framework. Apart from this scheme, however, there is not much to choose from in the DS-RE literature as most of the advances in this field are focused on improving the instance-encoding step rather than the instance-aggregation step. With recent works leveraging large pre-trained language models as encoders, the increased capacity of models might allow for more flexibility in the instance-aggregation step. In this work, we explore this hypothesis and come up with a novel aggregation scheme which we call Passage-Att. Under this aggregation scheme, we combine all instances mentioning an entity pair into a "passage of instances", which is summarized independently for each relation class. These summaries are used to predict the validity of a potential triple. We show that our Passage-Att with BERT as passage encoder achieves state-of-the-art performance in three different settings (monolingual DS, monolingual DS with manually-annotated test set, multilingual DS).
• Abstract（参考訳）: 距離教師付き関係抽出(DS-RE)は通常、複数のインスタンスからの情報の最適な集約が重要となるマルチインスタンスマルチラベル(MI-ML)タスクとしてフレーム化される。 バッグ内アテンション(lin et al., 2016)は、このフレームワークで広く使われているアグリゲーションスキームの例である。 しかし、このスキームとは別に、ds-reの文献では、この分野の進歩の多くは、インスタンス集約のステップではなく、インスタンスエンコーディングのステップの改善に焦点を当てているため、選択する余地はない。 エンコーダとして事前学習された大規模な言語モデルを活用する最近の作業により、モデルのキャパシティの増大により、インスタンス集約ステップの柔軟性が向上する可能性がある。 本研究では,この仮説を探求し,Passage-Attと呼ばれる新しいアグリゲーション手法を考案する。 この集約スキームの下で、エンティティペアを参照するすべてのインスタンスを「インスタンスのパス」に結合し、各関係クラスに対して独立に要約する。 これらの要約は、潜在的な三重項の有効性を予測するために使われる。 BERTをパスエンコーダとしたPassage-Attは、3つの異なる設定(単言語DS、手動アノテーション付き単言語DS、多言語DS)で最先端のパフォーマンスを実現する。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• In-Context Learning for Text Classification with Many Labels [34.87532045406169]
  多くのラベルを持つタスクに対して大きな言語モデルを用いたインコンテキスト学習(ICL)は、コンテキストウィンドウが限られているため困難である。 我々は、この制限を回避するために、事前訓練された高密度検索モデルを使用する。 我々は、コンテキスト内サンプルの数と異なるモデルスケールのパフォーマンスを分析します。
  論文  参考訳（メタデータ） (2023-09-19T22:41:44Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Coarse-to-Fine Memory Matching for Joint Retrieval and Classification [0.7081604594416339]
  共同検索と分類のための新しいエンドツーエンド言語モデルを提案する。 FEVERファクト検証データセットの標準ブラインドテストセットで評価する。 我々は、モデルを分析・制約するためのこの設定に、模範監査を拡張します。
  論文  参考訳（メタデータ） (2020-11-29T05:06:03Z)
• Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling [34.93480801598084]
  1つの文書は一般に複数のエンティティペアを含み、1つのエンティティペアは複数の可能な関係に関連付けられた文書に複数回発生する。 適応しきい値と局所化コンテキストプーリングという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T20:41:23Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。