論文の概要: Memorization vs. Generalization: Quantifying Data Leakage in NLP Performance Evaluation

• arxiv url: http://arxiv.org/abs/2102.01818v1
• Date: Wed, 3 Feb 2021 00:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 05:09:52.278448
• Title: Memorization vs. Generalization: Quantifying Data Leakage in NLP Performance Evaluation
• Title（参考訳）: 記憶と一般化: nlp性能評価におけるデータ漏洩の定量化
• Authors: Aparna Elangovan, Jiayuan He, Karin Verspoor
• Abstract要約: 自然言語処理(NLP)における多くのタスクに対する最先端手法の有効性と一般化性を評価するために、パブリックデータセットがしばしば使用される。 列車とテストデータセットの重複の存在は、インフレーションされた結果をもたらし、モデルを記憶し、それを一般化する能力として解釈するモデルの能力を不注意に評価する。 我々は、NLPタスクの評価に使用される複数の公開データセットの試験データにトレーニングデータの漏洩を識別し、その漏洩がモデルを記憶または一般化する能力に与える影響を評価する。
• 参考スコア（独自算出の注目度）: 4.98030422694461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Public datasets are often used to evaluate the efficacy and generalizability of state-of-the-art methods for many tasks in natural language processing (NLP). However, the presence of overlap between the train and test datasets can lead to inflated results, inadvertently evaluating the model's ability to memorize and interpreting it as the ability to generalize. In addition, such data sets may not provide an effective indicator of the performance of these methods in real world scenarios. We identify leakage of training data into test data on several publicly available datasets used to evaluate NLP tasks, including named entity recognition and relation extraction, and study them to assess the impact of that leakage on the model's ability to memorize versus generalize.
• Abstract（参考訳）: パブリックデータセットは、自然言語処理(nlp)における多くのタスクにおける最先端手法の有効性と一般化性を評価するためにしばしば使用される。 しかし、列車とテストデータセットの重なりがあるため、結果が膨らみ、モデルの記憶能力が不注意に評価され、一般化する能力として解釈される。 さらに、このようなデータセットは、現実のシナリオにおけるこれらのメソッドのパフォーマンスの効果的な指標を提供しないかもしれない。 名前付きエンティティ認識や関係抽出など、NLPタスクを評価するために使用されるいくつかの公開データセットの試験データへのトレーニングデータの漏洩を特定し、その漏洩がモデルが記憶する能力と一般化に対する影響を評価する。

関連論文リスト

• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• ALP: Action-Aware Embodied Learning for Perception [74.67978035345736]
  我々はtextbfPerception (ALP) のための textbfAction-aware Embodied textbfLearning を導入する。 ALPは、ポリシー勾配の最適化と逆ダイナミクス予測の目的を組み合わせることで、アクション情報を表現学習に組み込む。 ALPはオブジェクト検出やセマンティックセグメンテーションにおいて,既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Data Valuation Without Training of a Model [8.89493507314525]
  本稿では、ニューラルネットワークの一般化における個々のインスタンスの影響を定量化するために、複雑性ギャップスコアと呼ばれるトレーニング不要なデータ評価スコアを提案する。 提案したスコアは、インスタンスの不規則性を定量化し、トレーニング中に各データインスタンスがネットワークパラメータの総移動にどの程度貢献するかを測定する。
  論文  参考訳（メタデータ） (2023-01-03T02:19:20Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• On Generalisability of Machine Learning-based Network Intrusion Detection Systems [0.0]
  本稿では,4つのベンチマークNIDSデータセットを用いて,教師付き学習モデルと教師なし学習モデルの評価を行う。 我々の調査は、検討されたモデルのうちどのモデルもすべての研究されたデータセットを一般化できないことを示唆している。 また,本研究では,教師なし学習手法が,検討シナリオにおける教師付き学習モデルよりも一般化されていることも示唆した。
  論文  参考訳（メタデータ） (2022-05-09T08:26:48Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Regularizing Models via Pointwise Mutual Information for Named Entity Recognition [17.767466724342064]
  ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。 提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。 長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
  論文  参考訳（メタデータ） (2021-04-15T05:47:27Z)
• Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
  特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。 本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-03-13T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。