論文の概要: New Protocols and Negative Results for Textual Entailment Data Collection

• arxiv url: http://arxiv.org/abs/2004.11997v2
• Date: Tue, 29 Sep 2020 22:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 03:43:48.156090
• Title: New Protocols and Negative Results for Textual Entailment Data Collection
• Title（参考訳）: テキストデータ集合のための新しいプロトコルと負の結果
• Authors: Samuel R. Bowman, Jennimaria Palomaki, Livio Baldini Soares, and Emily Pitler
• Abstract要約: 自然言語推論(NLI)データは、特に言語理解を必要とするタスクの事前トレーニングデータとして、ベンチマークに有用であることが証明されている。 このデータ収集に使用されたクラウドソーシングプロトコルには、既知の問題があり、どちらの目的でも明示的に最適化されていない。 提案する4つの代替プロトコルは,アノテータが音質訓練例を作成することや,それらの例の品質と多様性を改善することを目的としている。
• 参考スコア（独自算出の注目度）: 23.194052886097147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language inference (NLI) data has proven useful in benchmarking and, especially, as pretraining data for tasks requiring language understanding. However, the crowdsourcing protocol that was used to collect this data has known issues and was not explicitly optimized for either of these purposes, so it is likely far from ideal. We propose four alternative protocols, each aimed at improving either the ease with which annotators can produce sound training examples or the quality and diversity of those examples. Using these alternatives and a fifth baseline protocol, we collect and compare five new 8.5k-example training sets. In evaluations focused on transfer learning applications, our results are solidly negative, with models trained on our baseline dataset yielding good transfer performance to downstream tasks, but none of our four new methods (nor the recent ANLI) showing any improvements over that baseline. In a small silver lining, we observe that all four new protocols, especially those where annotators edit pre-filled text boxes, reduce previously observed issues with annotation artifacts.
• Abstract（参考訳）: 自然言語推論(NLI)データは、特に言語理解を必要とするタスクの事前トレーニングデータとして、ベンチマークに有用であることが証明されている。 しかしながら、このデータ収集に使用されたクラウドソーシングプロトコルには既知の問題があり、どちらの目的にも明示的に最適化されていないため、理想には程遠いものと思われる。 提案する4つの代替プロトコルは,アノテータが音質訓練例を作成することや,それらの例の品質と多様性を改善することを目的としている。 これらの代替手段と5番目のベースラインプロトコルを用いて、5つの新しい8.5kサンプルトレーニングセットを収集し比較する。 転送学習アプリケーションに焦点をあてた評価では、ベースラインデータセットでトレーニングされたモデルが下流タスクに優れた転送性能をもたらすという確固たる否定的な結果が得られましたが、我々の4つの新しい手法(最近のANLIも)はいずれもベースラインよりも改善を示さなかったのです。 小さなシルバーライニングでは、4つの新しいプロトコル、特にアノテータがプリフィルドテキストボックスを編集する場合、アノテーションアーティファクトに関する以前観測されていた問題を減らすことが観察された。

関連論文リスト

• Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported [4.453137996095194]
  転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
  論文  参考訳（メタデータ） (2024-05-24T14:12:23Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Learning New Tasks from a Few Examples with Soft-Label Prototypes [18.363177410917597]
  ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-31T16:06:48Z)
• TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning [53.32740707197856]
  TSDAE(Sequential Denoising Auto-Encoder)を用いた最新の非監視方式を提案する。 ドメイン内の監視されたアプローチのパフォーマンスの93.1%を達成することができる。
  論文  参考訳（メタデータ） (2021-04-14T17:02:18Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers [8.19984844136462]
  本稿では,長文と短文の分類器の性能向上に適したテキスト生成手法を提案し,評価する。 シミュレーションされた低データレギュレーションでは、最大15.53%の加算精度ゲインが達成される。 さまざまな種類のデータセットに対するアプローチを成功に導くための意味とパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-26T13:16:07Z)
• Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options [26.840636791836]
  大規模自然言語推論(NLI)データセットは、クラウドワーカーに前提を読み、新しい仮説を3つ書くように求めて作成されている。 本稿では,アノテータがラベル付けする候補(前提,仮説)ペアを自動生成する2つの代替プロトコルについて検討する。 代替プロトコルはいずれも、NLI内の一般化の評価や、外部の目標タスクへの転送において、ベースラインを上回りません。
  論文  参考訳（メタデータ） (2020-10-13T02:27:05Z)
• Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
  本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。 微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。 提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T02:01:18Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。