論文の概要: Active Testing: An Unbiased Evaluation Method for Distantly Supervised Relation Extraction

• arxiv url: http://arxiv.org/abs/2010.08777v1
• Date: Sat, 17 Oct 2020 12:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:06:14.598470
• Title: Active Testing: An Unbiased Evaluation Method for Distantly Supervised Relation Extraction
• Title（参考訳）: アクティブテスト:遠隔監視型関係抽出のための不偏性評価手法
• Authors: Pengshuai Li, Xinsong Zhang, Weijia Jia and Wei Zhao
• Abstract要約: ノイズの多いテストセットといくつかの手動アノテーションを併用して,アクティブテストという新しい評価手法を提案する。 広範に使用されているベンチマーク実験により,提案手法は遠距離教師付き関係抽出器に対してほぼ偏りのない評価が得られることが示された。
• 参考スコア（独自算出の注目度）: 23.262284507381757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distant supervision has been a widely used method for neural relation extraction for its convenience of automatically labeling datasets. However, existing works on distantly supervised relation extraction suffer from the low quality of test set, which leads to considerable biased performance evaluation. These biases not only result in unfair evaluations but also mislead the optimization of neural relation extraction. To mitigate this problem, we propose a novel evaluation method named active testing through utilizing both the noisy test set and a few manual annotations. Experiments on a widely used benchmark show that our proposed approach can yield approximately unbiased evaluations for distantly supervised relation extractors.
• Abstract（参考訳）: 遠隔監視は、データセットの自動ラベリングを便利にするために、神経関係抽出に広く使われている方法である。 しかし, 遠隔教師付き関係抽出に関する既存の研究は, テストセットの品質の低下に悩まされ, かなりの性能評価が得られた。 これらのバイアスは不公平な評価をもたらすだけでなく、神経関係抽出の最適化を誤解させる。 そこで本研究では,ノイズの多いテストセットといくつかの手動アノテーションを併用して,アクティブテストという新しい評価手法を提案する。 広く用いられているベンチマーク実験により,提案手法は遠方教師付き関係抽出器に対してほぼ偏りのない評価が得られることを示した。

関連論文リスト

• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• Automatic Debiased Learning from Positive, Unlabeled, and Exposure Data [11.217084610985674]
  本稿では,正・未ラベルデータ(PU分類)からの二項分類の問題に,正のデータの選択バイアスを伴って対処する。 このシナリオは、レコメンダシステムのような多くの実用的なアプリケーションのための概念的なフレームワークを表している。 本稿では,強い無知性仮定を用いて関心の関数を同定し,ADPUE(Automatic Debiased PUE)学習法を開発する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-08T18:45:22Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Revisiting the Negative Data of Distantly Supervised Relation Extraction [17.00557139562208]
  遠隔監視は、関係抽出のための多くのトレーニングサンプルを自動的に生成する。 また、ノイズラベルと不均衡なトレーニングデータという2つの大きな問題も発生している。 そこで我々はtextscReRe と呼ばれるパイプライン手法を提案し,文レベルの関係検出を行い,対象/対象抽出を行う。
  論文  参考訳（メタデータ） (2021-05-21T06:44:19Z)
• Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
  サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。 我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T10:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。