論文の概要: Active Testing: An Unbiased Evaluation Method for Distantly Supervised
Relation Extraction
- arxiv url: http://arxiv.org/abs/2010.08777v1
- Date: Sat, 17 Oct 2020 12:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 12:06:14.598470
- Title: Active Testing: An Unbiased Evaluation Method for Distantly Supervised
Relation Extraction
- Title(参考訳): アクティブテスト:遠隔監視型関係抽出のための不偏性評価手法
- Authors: Pengshuai Li, Xinsong Zhang, Weijia Jia and Wei Zhao
- Abstract要約: ノイズの多いテストセットといくつかの手動アノテーションを併用して,アクティブテストという新しい評価手法を提案する。
広範に使用されているベンチマーク実験により,提案手法は遠距離教師付き関係抽出器に対してほぼ偏りのない評価が得られることが示された。
- 参考スコア(独自算出の注目度): 23.262284507381757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distant supervision has been a widely used method for neural relation
extraction for its convenience of automatically labeling datasets. However,
existing works on distantly supervised relation extraction suffer from the low
quality of test set, which leads to considerable biased performance evaluation.
These biases not only result in unfair evaluations but also mislead the
optimization of neural relation extraction. To mitigate this problem, we
propose a novel evaluation method named active testing through utilizing both
the noisy test set and a few manual annotations. Experiments on a widely used
benchmark show that our proposed approach can yield approximately unbiased
evaluations for distantly supervised relation extractors.
- Abstract(参考訳): 遠隔監視は、データセットの自動ラベリングを便利にするために、神経関係抽出に広く使われている方法である。
しかし, 遠隔教師付き関係抽出に関する既存の研究は, テストセットの品質の低下に悩まされ, かなりの性能評価が得られた。
これらのバイアスは不公平な評価をもたらすだけでなく、神経関係抽出の最適化を誤解させる。
そこで本研究では,ノイズの多いテストセットといくつかの手動アノテーションを併用して,アクティブテストという新しい評価手法を提案する。
広く用いられているベンチマーク実験により,提案手法は遠方教師付き関係抽出器に対してほぼ偏りのない評価が得られることを示した。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳(メタデータ) (2023-09-05T14:06:33Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳(メタデータ) (2023-06-27T02:54:07Z) - Automatic Debiased Learning from Positive, Unlabeled, and Exposure Data [11.217084610985674]
本稿では,正・未ラベルデータ(PU分類)からの二項分類の問題に,正のデータの選択バイアスを伴って対処する。
このシナリオは、レコメンダシステムのような多くの実用的なアプリケーションのための概念的なフレームワークを表している。
本稿では,強い無知性仮定を用いて関心の関数を同定し,ADPUE(Automatic Debiased PUE)学習法を開発する手法を提案する。
論文 参考訳(メタデータ) (2023-03-08T18:45:22Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - Fake It Till You Make It: Near-Distribution Novelty Detection by
Score-Based Generative Models [54.182955830194445]
既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。
本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。
本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
論文 参考訳(メタデータ) (2022-05-28T02:02:53Z) - Active Surrogate Estimators: An Active Learning Approach to
Label-Efficient Model Evaluation [59.7305309038676]
モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。
ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
論文 参考訳(メタデータ) (2022-02-14T17:15:18Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳(メタデータ) (2021-08-06T05:20:46Z) - Revisiting the Negative Data of Distantly Supervised Relation Extraction [17.00557139562208]
遠隔監視は、関係抽出のための多くのトレーニングサンプルを自動的に生成する。
また、ノイズラベルと不均衡なトレーニングデータという2つの大きな問題も発生している。
そこで我々はtextscReRe と呼ばれるパイプライン手法を提案し,文レベルの関係検出を行い,対象/対象抽出を行う。
論文 参考訳(メタデータ) (2021-05-21T06:44:19Z) - Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。
アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。
我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
論文 参考訳(メタデータ) (2021-03-09T10:20:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。