論文の概要: Does Putting a Linguist in the Loop Improve NLU Data Collection?

• arxiv url: http://arxiv.org/abs/2104.07179v1
• Date: Thu, 15 Apr 2021 00:31:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:05:47.842170
• Title: Does Putting a Linguist in the Loop Improve NLU Data Collection?
• Title（参考訳）: ループに言語学者を置くことはNLUデータ収集を改善するか?
• Authors: Alicia Parrish, William Huang, Omar Agha, Soo-Hwan Lee, Nikita Nangia, Alex Warstadt, Karmanya Aggarwal, Emily Allaway, Tal Linzen and Samuel R. Bowman
• Abstract要約: クラウドソーシングNLPデータセットには、データ収集が完了した後にのみ識別される体系的なギャップとバイアスが含まれます。 テストケースとして自然言語を推論し、データ収集中に言語学者をループに配置することが有益かどうかを問う。
• 参考スコア（独自算出の注目度）: 34.34874979524489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many crowdsourced NLP datasets contain systematic gaps and biases that are identified only after data collection is complete. Identifying these issues from early data samples during crowdsourcing should make mitigation more efficient, especially when done iteratively. We take natural language inference as a test case and ask whether it is beneficial to put a linguist `in the loop' during data collection to dynamically identify and address gaps in the data by introducing novel constraints on the task. We directly compare three data collection protocols: (i) a baseline protocol, (ii) a linguist-in-the-loop intervention with iteratively-updated constraints on the task, and (iii) an extension of linguist-in-the-loop that provides direct interaction between linguists and crowdworkers via a chatroom. The datasets collected with linguist involvement are more reliably challenging than baseline, without loss of quality. But we see no evidence that using this data in training leads to better out-of-domain model performance, and the addition of a chat platform has no measurable effect on the resulting dataset. We suggest integrating expert analysis \textit{during} data collection so that the expert can dynamically address gaps and biases in the dataset.
• Abstract（参考訳）: 多くのクラウドソースNLPデータセットは、データ収集が完了した後のみ識別される体系的なギャップとバイアスを含んでいる。 クラウドソーシング中の初期のデータサンプルからこれらの問題を特定することで、特に反復的に実施した場合、緩和がより効率的になる。 我々は、自然言語推論をテストケースとみなし、データ収集中に言語学者「ループ内」を置けば、タスクに新しい制約を導入することで、データのギャップを動的に識別し対処できるかどうかを問う。 i)ベースラインプロトコル,(ii)タスクの反復的に更新された制約に対する言語学者の介入,(iii)チャットルームを介して言語学者とクラウドワーカーの直接的なインタラクションを提供する言語学者のループ拡張,の3つのデータ収集プロトコルを直接比較する。 言語学者が関与して収集したデータセットは、品質を損なうことなく、ベースラインよりも確実に難しい。 しかし、トレーニングでこのデータを使用することでドメイン外モデルのパフォーマンスが向上する証拠は見つからず、チャットプラットフォームの追加は結果のデータセットに測定可能な影響を与えない。 専門家がデータセットのギャップやバイアスを動的に解決できるように、専門家分析データ収集の統合を提案する。

関連論文リスト

• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
  クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。 データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。 本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
  論文  参考訳（メタデータ） (2022-12-16T23:37:44Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks? [31.39009622826369]
  我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。 我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。 専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
  論文  参考訳（メタデータ） (2021-06-01T21:05:52Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• On the Effectiveness of Dataset Embeddings in Mono-lingual,Multi-lingual and Zero-shot Conditions [18.755176247223616]
  モノリンガル設定、多言語設定、ゼロショット設定における予測データソースラベルにおけるデータセット埋め込みの効果を比較します。 形態素的タグ付け,補間,依存関係解析の3つのタスクを評価し,104のデータセット,66の言語,2つの異なるデータセットグループ化戦略を用いた。
  論文  参考訳（メタデータ） (2021-03-01T19:34:32Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。