論文の概要: Separating Retention from Extraction in the Evaluation of End-to-end Relation Extraction

• arxiv url: http://arxiv.org/abs/2109.12008v1
• Date: Fri, 24 Sep 2021 15:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:23:41.574474
• Title: Separating Retention from Extraction in the Evaluation of End-to-end Relation Extraction
• Title（参考訳）: エンドツーエンド関係抽出の評価における抽出からの分離保持
• Authors: Bruno Taill\'e, Vincent Guigue, Geoffrey Scoutheeten and Patrick Gallinari
• Abstract要約: 既知の事実の保持は、標準ベンチマークにおけるパフォーマンスの重要な要素であることを示す。 ある実験では、中間型表現が使えるパイプラインモデルは、保持を過度に繰り返す傾向が低いことを示唆している。
• 参考スコア（独自算出の注目度）: 11.510853401995211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art NLP models can adopt shallow heuristics that limit their generalization capability (McCoy et al., 2019). Such heuristics include lexical overlap with the training set in Named-Entity Recognition (Taill\'e et al., 2020) and Event or Type heuristics in Relation Extraction (Rosenman et al., 2020). In the more realistic end-to-end RE setting, we can expect yet another heuristic: the mere retention of training relation triples. In this paper, we propose several experiments confirming that retention of known facts is a key factor of performance on standard benchmarks. Furthermore, one experiment suggests that a pipeline model able to use intermediate type representations is less prone to over-rely on retention.
• Abstract（参考訳）: 最先端のNLPモデルは、その一般化能力を制限する浅いヒューリスティックを採用することができる(McCoy et al., 2019)。 そのようなヒューリスティックには、名前付きエンティティ認識(Taill\'e et al., 2020)のトレーニングセットと、関係抽出におけるイベントまたはタイプヒューリスティックス(Rosenman et al., 2020)との語彙的重複が含まれる。 より現実的なエンドツーエンドのRE設定では、もう1つのヒューリスティックが期待できます。 本稿では,既知の事実の保持が標準ベンチマークの性能の重要な要因であることを示す実験をいくつか提案する。 さらに、ある実験では、中間型表現が使えるパイプラインモデルは、保持を過度に繰り返す傾向が低いことを示唆している。

関連論文リスト

• Evaluating Rank-N-Contrast: Continuous and Robust Representations for Regression [0.0]
  この文書は2023年に出版された『Rank-N-Contrast』(arXiv:2210.01189v2)の複製である。
  論文  参考訳（メタデータ） (2024-11-25T11:31:53Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Contextualization and Generalization in Entity and Relation Extraction [0.0]
  本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。 従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。 本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
  論文  参考訳（メタデータ） (2022-06-15T14:16:42Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning [81.10531943939365]
  クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。 本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。 3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
  論文  参考訳（メタデータ） (2021-07-19T14:31:33Z)
• An Identifiable Double VAE For Disentangled Representations [24.963285614606665]
  本稿では, 識別可能性に関する理論的保証を備えた, VAEに基づく新しい生成モデルを提案する。 我々は,最適表現を学習することで,潜伏者に対する条件付き事前情報を得る。 実験結果は,最先端のアプローチに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-19T09:59:31Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。