論文の概要: A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers

• arxiv url: http://arxiv.org/abs/2104.07512v1
• Date: Thu, 15 Apr 2021 15:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:15:41.136826
• Title: A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers
• Title（参考訳）: プレトレーニングトランスを用いた遠隔教師付き関係抽出のためのサンプルベース学習法
• Authors: Mehrdad Nasser, Mohamad Bagher Sajadi, Behrouz Minaei-Bidgoli
• Abstract要約: ハードウェア要求を緩和するDSREの新しいサンプリング手法を提案する。 提案手法では, バッチ内の袋からランダムに文をサンプリングすることにより, バッチ中の文数を制限する。 ランダムサンプリングによる問題を軽減するために,学習モデルのアンサンブルを用いて予測を行う。
• 参考スコア（独自算出の注目度）: 4.726777092009553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple instance learning (MIL) has become the standard learning paradigm for distantly supervised relation extraction (DSRE). However, due to relation extraction being performed at bag level, MIL has significant hardware requirements for training when coupled with large sentence encoders such as deep transformer neural networks. In this paper, we propose a novel sampling method for DSRE that relaxes these hardware requirements. In the proposed method, we limit the number of sentences in a batch by randomly sampling sentences from the bags in the batch. However, this comes at the cost of losing valid sentences from bags. To alleviate the issues caused by random sampling, we use an ensemble of trained models for prediction. We demonstrate the effectiveness of our approach by using our proposed learning setting to fine-tuning BERT on the widely NYT dataset. Our approach significantly outperforms previous state-of-the-art methods in terms of AUC and P@N metrics.
• Abstract（参考訳）: 複数インスタンス学習(MIL)は,遠隔教師付き関係抽出(DSRE)の標準学習パラダイムとなっている。 しかし、バッグレベルでの関係抽出を行うため、深層トランスフォーマーニューラルネットワークのような大きな文エンコーダと組み合わせた場合、MILはトレーニングのための重要なハードウェア要件がある。 本稿では,これらのハードウェア要件を緩和するDSREの新しいサンプリング手法を提案する。 提案手法では,バッチ内の袋からランダムに文章をサンプリングすることで,バッチ内の文数を制限する。 しかし、これは袋から有効な文を失うコストにかかっている。 ランダムサンプリングによる問題を軽減するために,学習モデルのアンサンブルを用いて予測を行う。 提案した学習環境を用いて,NYTデータセット上でBERTを微調整することで,提案手法の有効性を示す。 提案手法は, AUC および P@N 測定値において, 従来の最先端手法よりも有意に優れていた。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
  特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Batch Active Learning at Scale [39.26441165274027]
  バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。 本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。 本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-29T18:14:05Z)
• CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction [52.94486705393062]
  我々は、典型的なマルチインスタンス学習(MIL)フレームワークを超えて、新しいコントラッシブ・インスタンス学習(CIL)フレームワークを提案する。 具体的には、初期MILをリレーショナルトリプルエンコーダと各インスタンスに対する負のペアに対する制約正のペアとみなす。 提案手法の有効性を実験的に検証し, 提案手法をNYT10, GDS, KBPで比較検討した。
  論文  参考訳（メタデータ） (2021-06-21T04:51:59Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。