論文の概要: Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education
- arxiv url: http://arxiv.org/abs/2010.12710v1
- Date: Fri, 23 Oct 2020 23:39:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:09:19.685561
- Title: Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education
- Title（参考訳）: 教師教育のための文脈特化対話エージェント開発における弱監督による分類の改善
- Authors: Debajyoti Datta, Maria Phillips, Jennifer Chiu, Ginger S. Watson,
James P. Bywater, Laura Barnes, and Donald Brown
- Abstract要約: 教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。
アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。
本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
- 参考スコア（独自算出の注目度）: 1.215785021723604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning techniques applied to the Natural Language Processing (NLP)
component of conversational agent development show promising results for
improved accuracy and quality of feedback that a conversational agent can
provide. The effort required to develop an educational scenario specific
conversational agent is time consuming as it requires domain experts to label
and annotate noisy data sources such as classroom videos. Previous approaches
to modeling annotations have relied on labeling thousands of examples and
calculating inter-annotator agreement and majority votes in order to model the
necessary scenarios. This method, while proven successful, ignores individual
annotator strengths in labeling a data point and under-utilizes examples that
do not have a majority vote for labeling. We propose using a multi-task weak
supervision method combined with active learning to address these concerns.
This approach requires less labeling than traditional methods and shows
significant improvements in precision, efficiency, and time-requirements than
the majority vote method (Ratner 2019). We demonstrate the validity of this
method on the Google Jigsaw data set and then propose a scenario to apply this
method using the Instructional Quality Assessment(IQA) to define the categories
for labeling. We propose using probabilistic modeling of annotator labeling to
generate active learning examples to further label the data. Active learning is
able to iteratively improve the training performance and accuracy of the
original classification model. This approach combines state-of-the art labeling
techniques of weak supervision and active learning to optimize results in the
educational domain and could be further used to lessen the data requirements
for expanded scenarios within the education domain through transfer learning.
- Abstract（参考訳）: 会話エージェント開発における自然言語処理(nlp)コンポーネントに適用する機械学習技術は、対話エージェントが提供できる精度とフィードバックの質を向上させる有望な結果を示す。
教育シナリオに特化した会話エージェントを開発するのに必要な労力は、ドメインの専門家が教室のビデオのような騒がしいデータソースをラベル付けし注釈をつける必要があるため、時間がかかります。
アノテーションをモデル化する以前のアプローチは、数千の例をラベル付けし、アノテーション間の合意と多数票を計算することで、必要なシナリオをモデル化していた。
この方法は成功したが、データポイントをラベル付けする際の個々のアノテータの強みを無視し、ラベル付けに過半数の票を持たない例を過小評価する。
これらの問題に対処するために,マルチタスク弱監視手法とアクティブラーニングの組み合わせを提案する。
このアプローチは従来の手法よりもラベル付けが少なく、多数決方式(ratner 2019)よりも正確性、効率性、時間要件が大幅に改善されている。
提案手法の有効性をGoogle Jigsawデータセットに示すとともに,インストラクショナル・クオリティ・アセスメント(IQA)を用いてラベル付けのカテゴリを定義するシナリオを提案する。
本稿では,アノテータラベリングの確率的モデリングを用いて,アクティブな学習例を生成し,さらにデータラベリングを行う。
アクティブラーニングは、元の分類モデルのトレーニング性能と精度を反復的に改善することができる。
このアプローチは、弱い監督とアクティブラーニングの最先端のラベリング技術を組み合わせて、教育領域における結果を最適化し、トランスファーラーニングを通じて、教育領域内の拡張シナリオのデータ要求を減らすためにさらに使用できる。
関連論文リスト
- Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。
本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
論文 参考訳（メタデータ） (2024-10-08T16:16:47Z) - Active Learning to Guide Labeling Efforts for Question Difficulty Estimation [1.0514231683620516]
トランスフォーマーベースのニューラルネットワークは、主に教師なしの手法ではなく、教師なし学習における独立した研究によって、最先端のパフォーマンスを達成する。
この研究は、教師付きヒューマン・イン・ザ・ループアプローチであるQDEのアクティブ・ラーニングを探求することで、研究ギャップを埋める。
PowerVarianceの取得によるアクティブな学習は、トレーニングデータの10%だけをラベル付けした後、完全に教師されたモデルに近いパフォーマンスを達成することを示す実験である。
論文 参考訳（メタデータ） (2024-09-14T02:02:42Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z) - Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo
Label Self-Refinement [9.69089112870202]
擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。
3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
論文 参考訳（メタデータ） (2023-10-25T20:31:07Z) - Just Label What You Need: Fine-Grained Active Selection for Perception
and Prediction through Partially Labeled Scenes [78.23907801786827]
提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。
実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
論文 参考訳（メタデータ） (2021-04-08T17:57:41Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳（メタデータ） (2021-01-02T07:13:41Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳（メタデータ） (2020-11-20T08:26:10Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T22:29:05Z) - Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。
提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。
既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
論文 参考訳（メタデータ） (2020-04-28T17:17:11Z) - Active and Incremental Learning with Weak Supervision [7.2288756536476635]
本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。
オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。
また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
論文 参考訳（メタデータ） (2020-01-20T13:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。