論文の概要: Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data

• arxiv url: http://arxiv.org/abs/2010.03656v1
• Date: Wed, 7 Oct 2020 21:17:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:28:40.538226
• Title: Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data
• Title（参考訳）: チャレンジデータを用いた関係抽出モデルの浅層ヒューリスティックの提示
• Authors: Shachar Rosenman, Alon Jacovi, Yoav Goldberg
• Abstract要約: 我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 49.378860065474875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The process of collecting and annotating training data may introduce distribution artifacts which may limit the ability of models to learn correct generalization behavior. We identify failure modes of SOTA relation extraction (RE) models trained on TACRED, which we attribute to limitations in the data annotation process. We collect and annotate a challenge-set we call Challenging RE (CRE), based on naturally occurring corpus examples, to benchmark this behavior. Our experiments with four state-of-the-art RE models show that they have indeed adopted shallow heuristics that do not generalize to the challenge-set data. Further, we find that alternative question answering modeling performs significantly better than the SOTA models on the challenge-set, despite worse overall TACRED performance. By adding some of the challenge data as training examples, the performance of the model improves. Finally, we provide concrete suggestion on how to improve RE data collection to alleviate this behavior.
• Abstract（参考訳）: トレーニングデータの収集と注釈付けのプロセスは、モデルが正しい一般化行動を学ぶ能力を制限できる分布アーティファクトを導入する可能性がある。 我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの障害モードを特定し、データアノテーションプロセスの制限に起因する。 自然発生のコーパスの例に基づいて、Challenging RE(CRE)と呼ばれるチャレンジセットを収集し、注釈付けして、この振る舞いをベンチマークします。 4つの最先端REモデルを用いた実験により,挑戦セットデータに一般化しない浅層ヒューリスティックスを実際に導入したことを示す。 さらに,TACRED性能が悪化しているにもかかわらず,課題セットのSOTAモデルよりも,代替質問応答モデルの方が優れた結果が得られた。 トレーニングの例としてチャレンジデータを追加することで、モデルのパフォーマンスが改善される。 最後に、この振る舞いを軽減するためにREデータ収集を改善する方法について具体的な提案を行う。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems [17.10762463903638]
  我々は人的評価を近似するために評価モデルを訓練し、高い合意を得る。 そこで本研究では,アノテートデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T10:48:14Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Improving QA Model Performance with Cartographic Inoculation [0.0]
  データセットアーティファクト"は、実世界のQA問題に一般化するモデルの能力を低下させる。 逆問題集合を用いてデータセットアーティファクトの影響と頻度を解析する。 課題集合から曖昧な逆数例のモデルを選択的に微調整することにより、大幅な性能改善が可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-30T23:08:26Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Factual Error Correction for Abstractive Summarization Models [41.77317902748772]
  本稿では,生成した要約の事実誤りを訂正するための編集後修正モジュールを提案する。 本モデルでは,他の神経要約モデルによって生成された要約の事実誤りを補正できることが示されている。 また、人工的なエラー訂正から下流の設定への移行は依然として非常に困難であることもわかりました。
  論文  参考訳（メタデータ） (2020-10-17T04:24:16Z)
• Data Rejuvenation: Exploiting Inactive Training Examples for Neural Machine Translation [86.40610684026262]
  本研究では,モデルの性能に寄与しない非アクティブなトレーニング例を特定する。 非アクティブな例を利用して大規模なデータセット上でのNMTモデルのトレーニングを改善するために、データ再構成を導入する。 WMT14の英語・ドイツ語・英語・フランス語データセットによる実験結果から,提案したデータ再生は一貫して,いくつかの強力なNMTモデルの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2020-10-06T08:57:31Z)
• Beat the AI: Investigating Adversarial Human Annotation for Reading Comprehension [27.538957000237176]
  人間は、モデルが正しい答えに失敗するように、逆さまに質問を作成する。 アノテーションループでは,より強力なモデルで36,000のサンプルを収集する。 その結果,非対向的なサンプルの学習は,非対向的なデータセットに強い一般化をもたらすことがわかった。 より強力なモデルは、より弱いループモデルで収集されたデータセットから学習できることが分かっています。
  論文  参考訳（メタデータ） (2020-02-02T00:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。