Fugu-MT 論文翻訳(概要): Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision

論文の概要: Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision

arxiv url: http://arxiv.org/abs/2205.08770v1
Date: Wed, 18 May 2022 07:45:59 GMT
ステータス: 処理完了
システム内更新日: 2022-05-19 12:41:34.444920
Title: Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision
Title（参考訳）: 重み付きコントラストプレトレーニングによる遠隔指導による関係抽出
Authors: Zhen Wan, Fei Cheng, Qianying Liu, Zhuoyuan Mao, Haiyue Song, Sadao Kurohashi
Abstract要約: 本稿では,事前学習インスタンスの信頼性を推定するために,教師付きデータを活用した重み付きコントラスト学習手法を提案する。 3つの教師付きデータセットに対する実験結果から,提案手法の利点が示された。
参考スコア（独自算出の注目度）: 22.904752492573504
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive pre-training on distant supervision has shown remarkable effectiveness for improving supervised relation extraction tasks. However, the existing methods ignore the intrinsic noise of distant supervision during the pre-training stage. In this paper, we propose a weighted contrastive learning method by leveraging the supervised data to estimate the reliability of pre-training instances and explicitly reduce the effect of noise. Experimental results on three supervised datasets demonstrate the advantages of our proposed weighted contrastive learning approach, compared to two state-of-the-art non-weighted baselines.
Abstract（参考訳）: 遠隔監督におけるコントラスト事前訓練は,教師付き関係抽出タスクの改善に顕著な効果を示した。しかし,既存の手法は,事前訓練段階における遠方監視の本質的な騒音を無視している。本稿では,教師付きデータを用いて事前学習インスタンスの信頼性を推定し,ノイズの影響を明示的に低減する重み付きコントラスト学習手法を提案する。 3つの教師付きデータセットの実験結果から,2つの最先端非重み付きベースラインと比較して,提案手法の利点が示された。

関連論文リスト

Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文参考訳（メタデータ） (2024-08-21T06:48:38Z)
A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
実験と観測を組み合わせた二重機械学習手法を提案する。我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
論文参考訳（メタデータ） (2023-07-04T02:53:11Z)
Sparsity-Aware Optimal Transport for Unsupervised Restoration Learning [17.098664719423404]
本稿では、教師なし復元学習フレームワークにおける劣化の空間性を利用して、複雑な復元作業における性能を大幅に向上させる。現実世界の超解像、デラリニング、デハジングの実験では、SOTはOTのPSNRを約2.6dB、2.7dB、1.3dB改善できることが示された。
論文参考訳（メタデータ） (2023-04-29T15:09:48Z)
Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation [12.415463205960156]
モデルフリー深部強化学習(RL)アルゴリズムでは、ノイズ値推定を用いて政策評価と最適化を監督し、サンプル効率を損なう。 RLで発生するノイズ管理における不確実性の原因を系統的に分析する。本稿では,2つの相補的不確実性推定手法がQ値と環境の両方を考慮し,ノイズ管理の負の影響を緩和する手法を提案する。
論文参考訳（メタデータ） (2022-01-05T15:46:06Z)
Improve Unsupervised Pretraining for Few-label Transfer [80.58625921631506]
本稿では,対象データセットに微調整用のラベル付きサンプルがほとんどない場合,この結論は成立しない可能性がある。実アプリケーションのための新しいプログレッシブな数ラベル転送アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-07-26T17:59:56Z)
Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-28T06:14:38Z)
Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification [9.13755431537592]
VAT(Virtual Adversarial Training)に基づく注意メカニズムの新たな一般トレーニング手法を提案する。 VATは、従来の研究で報告された注意機構が摂動に弱いという半教師付き設定で、ラベルのないデータから敵の摂動を計算することができる。
論文参考訳（メタデータ） (2021-04-18T07:51:45Z)
Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
教師付き学習では、データは不完全で差別的な情報で注釈付けされる。本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-04T18:14:32Z)
Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文参考訳（メタデータ） (2020-10-26T04:44:43Z)
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations [12.755943669814236]
そこで我々は,SNCEtという半教師付きロスを提案する。これは,自己教師型インスタンス単位のプリテキストタスクに加えて,異なるクラスの例を区別することを目的としている。 ImageNetでは、SNCEtは従来のコントラッシブアプローチの半教師付き学習精度と一致させることができる。私たちの主な洞察は、事前トレーニング中に少量のラベル付きデータを利用するだけでなく、微調整中にも重要な信号を提供するということです。
論文参考訳（メタデータ） (2020-06-18T18:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。