論文の概要: Meta-Learning for Neural Relation Classification with Distant Supervision

• arxiv url: http://arxiv.org/abs/2010.13544v1
• Date: Mon, 26 Oct 2020 12:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 18:56:28.725980
• Title: Meta-Learning for Neural Relation Classification with Distant Supervision
• Title（参考訳）: 遠隔監視による神経関係分類のためのメタラーニング
• Authors: Zhenzhen Li, Jian-Yun Nie, Benyou Wang, Pan Du, Yuhan Zhang, Lixin Zou, and Dongsheng Li
• Abstract要約: 本稿では,参照データの指導の下で,雑音の多い学習データを重み付けするメタラーニング手法を提案する。 いくつかのデータセットの実験では、参照データがトレーニングデータの選択を効果的にガイドできることが示されている。
• 参考スコア（独自算出の注目度）: 38.755055486296435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distant supervision provides a means to create a large number of weakly labeled data at low cost for relation classification. However, the resulting labeled instances are very noisy, containing data with wrong labels. Many approaches have been proposed to select a subset of reliable instances for neural model training, but they still suffer from noisy labeling problem or underutilization of the weakly-labeled data. To better select more reliable training instances, we introduce a small amount of manually labeled data as reference to guide the selection process. In this paper, we propose a meta-learning based approach, which learns to reweight noisy training data under the guidance of reference data. As the clean reference data is usually very small, we propose to augment it by dynamically distilling the most reliable elite instances from the noisy data. Experiments on several datasets demonstrate that the reference data can effectively guide the selection of training data, and our augmented approach consistently improves the performance of relation classification comparing to the existing state-of-the-art methods.
• Abstract（参考訳）: 遠隔監視は、関係分類のための低コストで多数の弱いラベル付きデータを作成する手段を提供する。 しかし、結果のラベル付きインスタンスは非常に騒がしく、間違ったラベルのデータを含んでいる。 ニューラルモデルトレーニングのために信頼できるインスタンスのサブセットを選択するための多くのアプローチが提案されているが、それでもノイズの多いラベル問題や弱いラベルデータの過小利用に苦しめられている。 より信頼性の高いトレーニングインスタンスを選択するために、少量の手動ラベル付きデータを参照として導入し、選択プロセスをガイドする。 本稿では,参照データの指導のもと,ノイズのあるトレーニングデータの重み付けを学習するメタラーニングに基づく手法を提案する。 クリーンな参照データは通常非常に小さいため、ノイズの多いデータから最も信頼性の高いエリートインスタンスを動的に蒸留することにより、それを強化することを提案する。 いくつかのデータセットの実験では、参照データがトレーニングデータの選択を効果的に導くことを示し、我々の強化されたアプローチは、既存の最先端手法と比較して、関係分類の性能を一貫して改善する。

関連論文リスト

• Learning in the Wild: Towards Leveraging Unlabeled Data for Effectively Tuning Pre-trained Code Models [38.7352992942213]
  我々は,大規模な未ラベルデータセットを用いた事前学習型コードモデルを改善するために,HINTという新しいアプローチを提案する。 HINTには、HybrId擬似ラベル付きデータ選択とノイズ耐性トレーニングの2つの主要なモジュールが含まれている。 実験の結果、HINTはタスク固有の方法でラベル付けされていないデータをうまく活用できることがわかった。
  論文  参考訳（メタデータ） (2024-01-02T06:39:00Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Learning with Noisy Labels by Adaptive Gradient-Based Outlier Removal [4.71154003227418]
  本稿では,Adaptive GRAdient-based outlier removal を用いて,雑音のあるラベルで学習する新しい手法 AGRAを提案する。 本手法は,サンプルの集合勾配と個々のサンプル勾配を比較して,対応するサンプルがモデルに役立つかどうかを動的に決定する。 いくつかのデータセットに対する広範囲な評価はAGRAの有効性を示している。
  論文  参考訳（メタデータ） (2023-06-07T15:10:01Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Training Subset Selection for Weak Supervision [17.03788288165262]
  弱いラベル付きデータの量と弱いラベルの精度とのトレードオフを示す。 我々は、事前訓練されたデータ表現とカット統計を組み合わせ、弱いラベル付きトレーニングデータの高品質なサブセットを選択する。 弱ラベルの少ないデータを使用することで、ベンチマークタスクにおいて、弱い監視パイプラインの精度が最大19%向上する。
  論文  参考訳（メタデータ） (2022-06-06T21:31:32Z)
• Data Consistency for Weakly Supervised Learning [15.365232702938677]
  機械学習モデルのトレーニングには、大量の人間が注釈付けしたデータを使用する。 本稿では、雑音ラベル、すなわち弱い信号を処理する新しい弱監督アルゴリズムを提案する。 本研究では,テキストと画像の分類作業において,最先端の弱い監督手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2022-02-08T16:48:19Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
  エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。 これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。 結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
  論文  参考訳（メタデータ） (2021-04-17T22:49:12Z)
• A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels [49.990938653249415]
  本研究では,初期疑似ラベルを雑音ラベルデータとして用いる非ラベルデータに割り当て,雑音ラベルデータを用いて深層ニューラルネットワークを訓練する手法を提案する。 実験の結果,提案手法は,いくつかのベンチマークデータセットにおいて,最先端の手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-03-08T11:46:02Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。