論文の概要: Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options

• arxiv url: http://arxiv.org/abs/2010.06122v1
• Date: Tue, 13 Oct 2020 02:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:30:25.396285
• Title: Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
• Title（参考訳）: クラウドワーカーに詳細な例を書いて欲しい: 悪い選択肢のベスト
• Authors: Clara Vania, Ruijie Chen, Samuel R. Bowman
• Abstract要約: 大規模自然言語推論(NLI)データセットは、クラウドワーカーに前提を読み、新しい仮説を3つ書くように求めて作成されている。 本稿では,アノテータがラベル付けする候補(前提,仮説)ペアを自動生成する2つの代替プロトコルについて検討する。 代替プロトコルはいずれも、NLI内の一般化の評価や、外部の目標タスクへの転送において、ベースラインを上回りません。
• 参考スコア（独自算出の注目度）: 26.840636791836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale natural language inference (NLI) datasets such as SNLI or MNLI have been created by asking crowdworkers to read a premise and write three new hypotheses, one for each possible semantic relationships (entailment, contradiction, and neutral). While this protocol has been used to create useful benchmark data, it remains unclear whether the writing-based annotation protocol is optimal for any purpose, since it has not been evaluated directly. Furthermore, there is ample evidence that crowdworker writing can introduce artifacts in the data. We investigate two alternative protocols which automatically create candidate (premise, hypothesis) pairs for annotators to label. Using these protocols and a writing-based baseline, we collect several new English NLI datasets of over 3k examples each, each using a fixed amount of annotator time, but a varying number of examples to fit that time budget. Our experiments on NLI and transfer learning show negative results: None of the alternative protocols outperforms the baseline in evaluations of generalization within NLI or on transfer to outside target tasks. We conclude that crowdworker writing still the best known option for entailment data, highlighting the need for further data collection work to focus on improving writing-based annotation processes.
• Abstract（参考訳）: SNLI(英語版)やMNLI(英語版)のような大規模自然言語推論(NLI)データセットは、クラウドワーカーに前提を読み、新しい仮説を3つ書き込むことで作成されている。 このプロトコルは有用なベンチマークデータの作成に使われてきたが、直接評価されていないため、書き込みベースのアノテーションプロトコルがどのような目的にも最適かどうかは不明だ。 さらに、クラウドワーカーがデータにアーティファクトを導入できるという証拠はたくさんある。 本稿では,アノテータがラベル付けする候補(前提,仮説)ペアを自動生成する2つの代替プロトコルについて検討する。 これらのプロトコルと書き込みベースのベースラインを使用して、それぞれ3k以上のサンプルからなる新しい英語NLIデータセットを収集し、それぞれに一定量のアノテータ時間を用いるが、その時間予算に適合するさまざまなサンプルを収集する。 nliとトランスファーラーニングの実験では、nli内の一般化の評価や外部のターゲットタスクへの転送において、代替プロトコルがベースラインを上回らないというネガティブな結果が得られました。 結論として,crowdworker writingはデータ補完の最もよく知られている選択肢であり,書き込みベースのアノテーションプロセスの改善に注力するためのデータ収集作業の必要性を強調している。

関連論文リスト

• ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
  大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
  論文  参考訳（メタデータ） (2024-06-27T01:37:57Z)
• Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket Recommendation [50.55786122323965]
  次バスケットレコメンデーション(NBR)は、対応するバスケットシーケンスが与えられた次のバスケット内のアイテムを推論することを目的としている。 HEKP4NBRは知識グラフ(KG)をKTP(Knowledge Tree Prompt)と呼ばれるプロンプトに変換し、PLMがOOV(Out-Of-Vocabulary)アイテムIDをエンコードするのを助ける。 ハイパーグラフ畳み込みモジュールは、複数の側面からMoEモデルによって測定されたアイテム類似性に基づいてハイパーグラフを構築するように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T02:12:21Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters [35.103851212995046]
  自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。 本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2022-04-15T12:56:39Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks? [31.39009622826369]
  我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。 我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。 専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
  論文  参考訳（メタデータ） (2021-06-01T21:05:52Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)
• New Protocols and Negative Results for Textual Entailment Data Collection [23.194052886097147]
  自然言語推論(NLI)データは、特に言語理解を必要とするタスクの事前トレーニングデータとして、ベンチマークに有用であることが証明されている。 このデータ収集に使用されたクラウドソーシングプロトコルには、既知の問題があり、どちらの目的でも明示的に最適化されていない。 提案する4つの代替プロトコルは,アノテータが音質訓練例を作成することや,それらの例の品質と多様性を改善することを目的としている。
  論文  参考訳（メタデータ） (2020-04-24T21:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。