論文の概要: Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability

• arxiv url: http://arxiv.org/abs/2106.01635v1
• Date: Thu, 3 Jun 2021 07:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 23:28:43.545822
• Title: Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability
• Title（参考訳）: ベクトルは専門家よりも心を読むことができるか? 児童のマインドリーディング能力の自動評価のためのデータ強化戦略の比較
• Authors: Venelin Kovatchev, Phillip Smith, Mark Lee, and Rory Devine
• Abstract要約: 子どもが他人の思考を理解する能力を自動的に評価するタスクのために,7つの異なるデータ強化戦略を実装し,比較する。 我々は,10,320対の質問応答対からなる,マインドリーディングテストにおける子どものパフォーマンスの新しいコーパスであるUK-MIND-20を作成する。 我々は,MIND-CAコーパス上での最先端性能を新たに獲得し,マクロF1スコアを6ポイント改善した。
• 参考スコア（独自算出の注目度）: 1.7184363631806447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we implement and compare 7 different data augmentation strategies for the task of automatic scoring of children's ability to understand others' thoughts, feelings, and desires (or "mindreading"). We recruit in-domain experts to re-annotate augmented samples and determine to what extent each strategy preserves the original rating. We also carry out multiple experiments to measure how much each augmentation strategy improves the performance of automatic scoring systems. To determine the capabilities of automatic systems to generalize to unseen data, we create UK-MIND-20 - a new corpus of children's performance on tests of mindreading, consisting of 10,320 question-answer pairs. We obtain a new state-of-the-art performance on the MIND-CA corpus, improving macro-F1-score by 6 points. Results indicate that both the number of training examples and the quality of the augmentation strategies affect the performance of the systems. The task-specific augmentations generally outperform task-agnostic augmentations. Automatic augmentations based on vectors (GloVe, FastText) perform the worst. We find that systems trained on MIND-CA generalize well to UK-MIND-20. We demonstrate that data augmentation strategies also improve the performance on unseen data.
• Abstract（参考訳）: 本稿では,子どもが他者の思考や感情,欲望(あるいは「思考」)を理解する能力を自動的に評価するタスクとして,7つの異なるデータ拡張戦略を実装し,比較する。 ドメイン内の専門家を募集し、拡張サンプルを再アノテートし、それぞれの戦略が元の評価をどの程度保持するかを判断します。 また,各強化戦略が自動スコアリングシステムの性能をどの程度向上させるかを評価する実験を複数実施した。 未発見のデータに一般化する自動システムの能力を決定するために、uk-mind-20 - 10,320組の質問・回答ペアからなるマインドリードテストにおける子供たちのパフォーマンスの新しいコーパスを作成する。 MIND-CAコーパス上での最先端性能を新たに獲得し,マクロF1スコアを6ポイント向上した。 その結果,トレーニング例数と拡張戦略の質がシステムの性能に影響を及ぼすことが示唆された。 タスク固有の拡張は一般的にタスクに依存しない拡張よりも優れています。 ベクター(GloVe、FastText)に基づいた自動拡張が最悪となる。 MIND-CAで訓練されたシステムは、UK-MIND-20とよく似ています。 データ拡張戦略は、見えないデータの性能も向上することを示した。

関連論文リスト

• Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level [73.14232472724758]
  我々は、エンドツーエンドの自律データサイエンスエージェントであるAgent K v1.0を紹介する。 経験から学ぶことによって、データサイエンスのライフサイクル全体を管理する。 キー情報を選択的に保存して検索することで、長期記憶と短期記憶を最適化する。
  論文  参考訳（メタデータ） (2024-11-05T23:55:23Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
  本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。 我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-17T18:18:27Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Efficient Reinforced Feature Selection via Early Stopping Traverse Strategy [36.890295071860166]
  単エージェントモンテカルロ型強化特徴選択法(MCRFS)を提案する。 また,早期停止(ES)戦略と報酬レベルインタラクティブ(RI)戦略の2つの効率改善戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-29T03:51:13Z)
• Boost AI Power: Data Augmentation Strategies with unlabelled Data and Conformal Prediction, a Case in Alternative Herbal Medicine Discrimination with Electronic Nose [12.31253329379136]
  電子鼻は代替医療の分類において有効であることが証明されているが、教師付き学習コストの性質のため、従来の研究はラベル付きトレーニングデータに依存していた。 本研究は,データ拡張戦略を用いて分類精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-02-05T10:25:36Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
  自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
  論文  参考訳（メタデータ） (2020-09-30T15:23:12Z)
• Automatic Data Augmentation for Generalization in Deep Reinforcement Learning [39.477038093585726]
  深層強化学習(RL)エージェントは、しばしば目に見えないシナリオへの一般化に失敗する。 近年,RL剤の試料効率と一般化が向上することが示されている。 エージェントはエージェントに影響を与えない環境の変化に対してより堅牢なポリシーや表現を学ぶ。
  論文  参考訳（メタデータ） (2020-06-23T09:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。