論文の概要: Collecting high-quality adversarial data for machine reading
comprehension tasks with humans and models in the loop
- arxiv url: http://arxiv.org/abs/2206.14272v1
- Date: Tue, 28 Jun 2022 20:01:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 06:53:30.533524
- Title: Collecting high-quality adversarial data for machine reading
comprehension tasks with humans and models in the loop
- Title(参考訳): 人間とループ内のモデルを用いた機械読解作業のための高品質逆データ収集
- Authors: Damian Y. Romero Diaz, Magdalena Anio{\l}, John Culnan
- Abstract要約: 抽出QAのための高品質・逆機械読解データの作成において,アノテータとしての経験を述べる。
準実験アノテーションを設計し,異なる数のアノテータを持つグループ間で定量的解析を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present our experience as annotators in the creation of high-quality,
adversarial machine-reading-comprehension data for extractive QA for Task 1 of
the First Workshop on Dynamic Adversarial Data Collection (DADC). DADC is an
emergent data collection paradigm with both models and humans in the loop. We
set up a quasi-experimental annotation design and perform quantitative analyses
across groups with different numbers of annotators focusing on successful
adversarial attacks, cost analysis, and annotator confidence correlation. We
further perform a qualitative analysis of our perceived difficulty of the task
given the different topics of the passages in our dataset and conclude with
recommendations and suggestions that might be of value to people working on
future DADC tasks and related annotation interfaces.
- Abstract(参考訳): 本稿では,第1回動的逆数データ収集ワークショップ(DADC)第1タスクの抽出QAのための高品質・逆数機械読解データ作成におけるアノテータとしての経験を紹介する。
DADCは、モデルと人間の両方がループにある緊急データ収集パラダイムである。
我々は,仮想実験的なアノテーション設計を行い,様々なアノテータを持つグループ間で定量的解析を行い,敵意攻撃,コスト分析,アノテータ信頼度相関に焦点をあてた。
我々はさらに,データセット内の各節の異なるトピックを考慮し,タスクの難易度を定性的に分析し,今後のdadcタスクや関連するアノテーションインターフェースに取り組む人々にとって価値のあるレコメンデーションや提案をまとめる。
関連論文リスト
- DACO: Towards Application-Driven and Comprehensive Data Analysis via
Code Generation [86.4326416303723]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳(メタデータ) (2024-03-04T22:47:58Z) - Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted
Approach for Qualitative Data Analysis [6.592797748561459]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)における協調的な人間とロボットの相互作用を可能にした
定性的な研究において,新たな拡張性と精度の次元を導入し,SEにおけるデータ解釈手法を変革する可能性がある。
論文 参考訳(メタデータ) (2024-02-02T13:10:46Z) - Towards Causal Foundation Model: on Duality between Causal Inference and
Attention [14.14921309395866]
複雑なタスクのための因果認識基盤モデルを構築するための第一歩を踏み出します。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T22:28:34Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Models in the Loop: Aiding Crowdworkers with Generative Annotation
Assistants [41.9785159975426]
我々は、アノテーションが完全に承認、修正、拒否できるリアルタイム提案を提供するジェネレーティブアシスタント(GAA)を導入する。
GAAは、アノテーションの速度の観点から大きな効率性をもたらすと同時に、モデル偽造率の改善につながっている。
論文 参考訳(メタデータ) (2021-12-16T17:59:39Z) - Analyzing Dynamic Adversarial Training Data in the Limit [50.00850852546616]
動的逆データ収集(DADC)は、このような多様なトレーニングセットを生成するためのアプローチとして、約束を守る。
本研究は,NLIの20ラウンドを少数の前提項で収集する,長期DADCに関する最初の研究である。
DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが、非敵のデータでトレーニングされたモデルよりも26%少なくなります。
論文 参考訳(メタデータ) (2021-10-16T08:48:52Z) - Exploring the Efficacy of Automatically Generated Counterfactuals for
Sentiment Analysis [17.811597734603144]
本稿では,データ拡張と説明のためのデファクトデータの自動生成手法を提案する。
いくつかの異なるデータセットに対する包括的な評価と、さまざまな最先端ベンチマークの使用により、我々のアプローチがモデルパフォーマンスを大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-06-29T10:27:01Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Bayesian Semi-supervised Crowdsourcing [71.20185379303479]
クラウドソーシングは、大規模なデータセットを効率的にラベル付けし、さまざまな学習タスクを実行するための強力なパラダイムとして登場した。
この研究は、半スーパービジョンの2つの体制の下で、半教師付きクラウドソース分類を扱う。
論文 参考訳(メタデータ) (2020-12-20T23:18:51Z) - Novel Human-Object Interaction Detection via Adversarial Domain
Generalization [103.55143362926388]
本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。
この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。
本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
論文 参考訳(メタデータ) (2020-05-22T22:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。