論文の概要: Collecting high-quality adversarial data for machine reading comprehension tasks with humans and models in the loop

• arxiv url: http://arxiv.org/abs/2206.14272v1
• Date: Tue, 28 Jun 2022 20:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 06:53:30.533524
• Title: Collecting high-quality adversarial data for machine reading comprehension tasks with humans and models in the loop
• Title（参考訳）: 人間とループ内のモデルを用いた機械読解作業のための高品質逆データ収集
• Authors: Damian Y. Romero Diaz, Magdalena Anio{\l}, John Culnan
• Abstract要約: 抽出QAのための高品質・逆機械読解データの作成において,アノテータとしての経験を述べる。 準実験アノテーションを設計し,異なる数のアノテータを持つグループ間で定量的解析を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our experience as annotators in the creation of high-quality, adversarial machine-reading-comprehension data for extractive QA for Task 1 of the First Workshop on Dynamic Adversarial Data Collection (DADC). DADC is an emergent data collection paradigm with both models and humans in the loop. We set up a quasi-experimental annotation design and perform quantitative analyses across groups with different numbers of annotators focusing on successful adversarial attacks, cost analysis, and annotator confidence correlation. We further perform a qualitative analysis of our perceived difficulty of the task given the different topics of the passages in our dataset and conclude with recommendations and suggestions that might be of value to people working on future DADC tasks and related annotation interfaces.
• Abstract（参考訳）: 本稿では,第1回動的逆数データ収集ワークショップ(DADC)第1タスクの抽出QAのための高品質・逆数機械読解データ作成におけるアノテータとしての経験を紹介する。 DADCは、モデルと人間の両方がループにある緊急データ収集パラダイムである。 我々は,仮想実験的なアノテーション設計を行い,様々なアノテータを持つグループ間で定量的解析を行い,敵意攻撃,コスト分析,アノテータ信頼度相関に焦点をあてた。 我々はさらに,データセット内の各節の異なるトピックを考慮し,タスクの難易度を定性的に分析し,今後のdadcタスクや関連するアノテーションインターフェースに取り組む人々にとって価値のあるレコメンデーションや提案をまとめる。

関連論文リスト

• Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
  高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。 これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。 本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
  論文  参考訳（メタデータ） (2024-10-19T08:39:21Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Models in the Loop: Aiding Crowdworkers with Generative Annotation Assistants [41.9785159975426]
  我々は、アノテーションが完全に承認、修正、拒否できるリアルタイム提案を提供するジェネレーティブアシスタント(GAA)を導入する。 GAAは、アノテーションの速度の観点から大きな効率性をもたらすと同時に、モデル偽造率の改善につながっている。
  論文  参考訳（メタデータ） (2021-12-16T17:59:39Z)
• Analyzing Dynamic Adversarial Training Data in the Limit [50.00850852546616]
  動的逆データ収集(DADC)は、このような多様なトレーニングセットを生成するためのアプローチとして、約束を守る。 本研究は,NLIの20ラウンドを少数の前提項で収集する,長期DADCに関する最初の研究である。 DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが、非敵のデータでトレーニングされたモデルよりも26%少なくなります。
  論文  参考訳（メタデータ） (2021-10-16T08:48:52Z)
• Exploring the Efficacy of Automatically Generated Counterfactuals for Sentiment Analysis [17.811597734603144]
  本稿では,データ拡張と説明のためのデファクトデータの自動生成手法を提案する。 いくつかの異なるデータセットに対する包括的な評価と、さまざまな最先端ベンチマークの使用により、我々のアプローチがモデルパフォーマンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-29T10:27:01Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Bayesian Semi-supervised Crowdsourcing [71.20185379303479]
  クラウドソーシングは、大規模なデータセットを効率的にラベル付けし、さまざまな学習タスクを実行するための強力なパラダイムとして登場した。 この研究は、半スーパービジョンの2つの体制の下で、半教師付きクラウドソース分類を扱う。
  論文  参考訳（メタデータ） (2020-12-20T23:18:51Z)
• Novel Human-Object Interaction Detection via Adversarial Domain Generalization [103.55143362926388]
  本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。 この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。 本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-05-22T22:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。