論文の概要: Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education
- arxiv url: http://arxiv.org/abs/2010.12710v1
- Date: Fri, 23 Oct 2020 23:39:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:09:19.685561
- Title: Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education
- Title(参考訳): 教師教育のための文脈特化対話エージェント開発における弱監督による分類の改善
- Authors: Debajyoti Datta, Maria Phillips, Jennifer Chiu, Ginger S. Watson,
James P. Bywater, Laura Barnes, and Donald Brown
- Abstract要約: 教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。
アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。
本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
- 参考スコア(独自算出の注目度): 1.215785021723604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning techniques applied to the Natural Language Processing (NLP)
component of conversational agent development show promising results for
improved accuracy and quality of feedback that a conversational agent can
provide. The effort required to develop an educational scenario specific
conversational agent is time consuming as it requires domain experts to label
and annotate noisy data sources such as classroom videos. Previous approaches
to modeling annotations have relied on labeling thousands of examples and
calculating inter-annotator agreement and majority votes in order to model the
necessary scenarios. This method, while proven successful, ignores individual
annotator strengths in labeling a data point and under-utilizes examples that
do not have a majority vote for labeling. We propose using a multi-task weak
supervision method combined with active learning to address these concerns.
This approach requires less labeling than traditional methods and shows
significant improvements in precision, efficiency, and time-requirements than
the majority vote method (Ratner 2019). We demonstrate the validity of this
method on the Google Jigsaw data set and then propose a scenario to apply this
method using the Instructional Quality Assessment(IQA) to define the categories
for labeling. We propose using probabilistic modeling of annotator labeling to
generate active learning examples to further label the data. Active learning is
able to iteratively improve the training performance and accuracy of the
original classification model. This approach combines state-of-the art labeling
techniques of weak supervision and active learning to optimize results in the
educational domain and could be further used to lessen the data requirements
for expanded scenarios within the education domain through transfer learning.
- Abstract(参考訳): 会話エージェント開発における自然言語処理(nlp)コンポーネントに適用する機械学習技術は、対話エージェントが提供できる精度とフィードバックの質を向上させる有望な結果を示す。
教育シナリオに特化した会話エージェントを開発するのに必要な労力は、ドメインの専門家が教室のビデオのような騒がしいデータソースをラベル付けし注釈をつける必要があるため、時間がかかります。
アノテーションをモデル化する以前のアプローチは、数千の例をラベル付けし、アノテーション間の合意と多数票を計算することで、必要なシナリオをモデル化していた。
この方法は成功したが、データポイントをラベル付けする際の個々のアノテータの強みを無視し、ラベル付けに過半数の票を持たない例を過小評価する。
これらの問題に対処するために,マルチタスク弱監視手法とアクティブラーニングの組み合わせを提案する。
このアプローチは従来の手法よりもラベル付けが少なく、多数決方式(ratner 2019)よりも正確性、効率性、時間要件が大幅に改善されている。
提案手法の有効性をGoogle Jigsawデータセットに示すとともに,インストラクショナル・クオリティ・アセスメント(IQA)を用いてラベル付けのカテゴリを定義するシナリオを提案する。
本稿では,アノテータラベリングの確率的モデリングを用いて,アクティブな学習例を生成し,さらにデータラベリングを行う。
アクティブラーニングは、元の分類モデルのトレーニング性能と精度を反復的に改善することができる。
このアプローチは、弱い監督とアクティブラーニングの最先端のラベリング技術を組み合わせて、教育領域における結果を最適化し、トランスファーラーニングを通じて、教育領域内の拡張シナリオのデータ要求を減らすためにさらに使用できる。
関連論文リスト
- Harnessing the Power of Beta Scoring in Deep Active Learning for
Multi-Label Text Classification [6.662167018900634]
本研究は,期待損失削減フレームワーク内の適切なスコアリングルールのベータファミリを活かした,新たなアクティブな学習戦略を提案する。
これはBeta Scoring Rulesを使って期待されるスコアの増加を計算し、次にサンプルベクトル表現に変換する。
合成データセットと実データセットの総合的な評価により,複数ラベルのテキスト分類において,確立された取得技術を上回る性能が得られた。
論文 参考訳(メタデータ) (2024-01-15T00:06:24Z) - Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo
Label Self-Refinement [9.69089112870202]
擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。
3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
論文 参考訳(メタデータ) (2023-10-25T20:31:07Z) - Learning Representations for New Sound Classes With Continual
Self-Supervised Learning [30.35061954854764]
本稿では,新しい音響クラスのための表現を継続的に学習するための自己教師型学習フレームワークを提案する。
提案手法を用いて学習した表現は,より一般化され,破滅的な忘れ込みに対する感受性が低いことを示す。
論文 参考訳(メタデータ) (2022-05-15T22:15:21Z) - Just Label What You Need: Fine-Grained Active Selection for Perception
and Prediction through Partially Labeled Scenes [78.23907801786827]
提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。
実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
論文 参考訳(メタデータ) (2021-04-08T17:57:41Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳(メタデータ) (2021-01-02T07:13:41Z) - Semi-supervised Active Learning for Instance Segmentation via Scoring
Predictions [25.408505612498423]
インスタンスセグメンテーションのための新規かつ原則的な半教師付きアクティブ学習フレームワークを提案する。
具体的には,クラス,バウンディングボックス,マスクの手がかりを明示的に評価するトリプレットスコア予測(tsp)という不確実性サンプリング戦略を提案する。
医用画像データセットを用いた結果から,提案手法が有意義な方法で利用可能なデータから知識を具現化することを示す。
論文 参考訳(メタデータ) (2020-12-09T02:36:52Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳(メタデータ) (2020-11-20T08:26:10Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳(メタデータ) (2020-10-07T22:29:05Z) - Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。
提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。
既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
論文 参考訳(メタデータ) (2020-04-28T17:17:11Z) - Active and Incremental Learning with Weak Supervision [7.2288756536476635]
本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。
オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。
また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
論文 参考訳(メタデータ) (2020-01-20T13:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。