論文の概要: Combining Feature and Instance Attribution to Detect Artifacts

• arxiv url: http://arxiv.org/abs/2107.00323v1
• Date: Thu, 1 Jul 2021 09:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:59:56.870890
• Title: Combining Feature and Instance Attribution to Detect Artifacts
• Title（参考訳）: アーティファクトの検出に特徴とインスタンス属性を組み合わせる
• Authors: Pouya Pezeshkpour, Sarthak Jain, Sameer Singh and Byron C. Wallace
• Abstract要約: トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
• 参考スコア（独自算出の注目度）: 62.63504976810927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training the large deep neural networks that dominate NLP requires large datasets. Many of these are collected automatically or via crowdsourcing, and may exhibit systematic biases or annotation artifacts. By the latter, we mean correlations between inputs and outputs that are spurious, insofar as they do not represent a generally held causal relationship between features and classes; models that exploit such correlations may appear to perform a given task well, but fail on out of sample data. In this paper we propose methods to facilitate identification of training data artifacts, using new hybrid approaches that combine saliency maps (which highlight important input features) with instance attribution methods (which retrieve training samples influential to a given prediction). We show that this proposed training-feature attribution approach can be used to uncover artifacts in training data, and use it to identify previously unreported artifacts in a few standard NLP datasets. We execute a small user study to evaluate whether these methods are useful to NLP researchers in practice, with promising results. We make code for all methods and experiments in this paper available.
• Abstract（参考訳）: NLPを支配する大きなディープニューラルネットワークのトレーニングには、大きなデータセットが必要である。 これらの多くは自動あるいはクラウドソーシングによって収集され、体系的なバイアスやアノテーションアーティファクトを示す。 後者では,特徴とクラス間の因果関係が一般に保持されていないため,入力と出力の相関関係が急激であり,そのような相関関係を利用したモデルが与えられたタスクをうまく実行するように見えるが,サンプルデータからフェールする可能性がある。 本稿では,データアーティファクトの識別を容易にする手法を提案する。この手法では,重要な入力特徴を強調するsaliency mapと,与えられた予測に影響を及ぼすトレーニングサンプルを取得するインスタンスアトリビューション手法を組み合わせた,新たなハイブリッド手法を提案する。 提案手法は,トレーニングデータのアーティファクトを抽出し,未報告のアーティファクトをいくつかの標準NLPデータセットで識別するために利用できることを示す。 提案手法が実際にNLP研究者に有用かどうかを評価するため,本研究は小規模なユーザスタディを実施し,有望な結果を得た。 この論文では、すべてのメソッドと実験のコードを利用可能にします。

関連論文リスト

• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Augmenting NLP data to counter Annotation Artifacts for NLI Tasks [0.0]
  大規模な事前トレーニングされたNLPモデルは、ベンチマークデータセット上で高いパフォーマンスを達成するが、基礎となるタスクを実際に"解決"することはない。 モデルの性能の限界を理解するために、まずコントラストと逆例を用いてこの現象を探求する。 次に、このバイアスを修正し、その有効性を測定するためのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-02-09T15:34:53Z)
• Domain-Specific NER via Retrieving Correlated Samples [37.98414661072985]
  本稿では,NERモデルの相関サンプルによる拡張を提案する。 人間の推論過程を明示的にシミュレートするために,多数決によるトレーニング不要な実体型校正を行う。 上記の2つの領域のデータセットに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-08-27T12:25:24Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering [17.7709632238066]
  データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。 我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。 本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-20T03:13:02Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Bootstrapping Relation Extractors using Syntactic Search by Examples [47.11932446745022]
  非NLP専門家によって迅速に実行できるトレーニングデータセットのブートストラッププロセスを提案する。 フレンドリーなバイサンプル構文を公開する構文グラフよりも検索エンジンを利用する。 得られたモデルは,手作業による注釈付きデータや遠隔監視から得られたデータに基づいて訓練されたモデルと競合することを示す。
  論文  参考訳（メタデータ） (2021-02-09T18:17:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。