論文の概要: Active Learning to Guide Labeling Efforts for Question Difficulty Estimation

• arxiv url: http://arxiv.org/abs/2409.09258v2
• Date: Thu, 10 Oct 2024 15:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 20:57:42.453750
• Title: Active Learning to Guide Labeling Efforts for Question Difficulty Estimation
• Title（参考訳）: 質問の難易度評価のための指導的学習
• Authors: Arthur Thuy, Ekaterina Loginova, Dries F. Benoit,
• Abstract要約: トランスフォーマーベースのニューラルネットワークは、主に教師なしの手法ではなく、教師なし学習における独立した研究によって、最先端のパフォーマンスを達成する。 この研究は、教師付きヒューマン・イン・ザ・ループアプローチであるQDEのアクティブ・ラーニングを探求することで、研究ギャップを埋める。 PowerVarianceの取得によるアクティブな学習は、トレーニングデータの10%だけをラベル付けした後、完全に教師されたモデルに近いパフォーマンスを達成することを示す実験である。
• 参考スコア（独自算出の注目度）: 1.0514231683620516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, there has been a surge in research on Question Difficulty Estimation (QDE) using natural language processing techniques. Transformer-based neural networks achieve state-of-the-art performance, primarily through supervised methods but with an isolated study in unsupervised learning. While supervised methods focus on predictive performance, they require abundant labeled data. On the other hand, unsupervised methods do not require labeled data but rely on a different evaluation metric that is also computationally expensive in practice. This work bridges the research gap by exploring active learning for QDE, a supervised human-in-the-loop approach striving to minimize the labeling efforts while matching the performance of state-of-the-art models. The active learning process iteratively trains on a labeled subset, acquiring labels from human experts only for the most informative unlabeled data points. Furthermore, we propose a novel acquisition function PowerVariance to add the most informative samples to the labeled set, a regression extension to the PowerBALD function popular in classification. We employ DistilBERT for QDE and identify informative samples by applying Monte Carlo dropout to capture epistemic uncertainty in unlabeled samples. The experiments demonstrate that active learning with PowerVariance acquisition achieves a performance close to fully supervised models after labeling only 10% of the training data. The proposed methodology promotes the responsible use of educational resources, makes QDE tools more accessible to course instructors, and is promising for other applications such as personalized support systems and question-answering tools.
• Abstract（参考訳）: 近年,自然言語処理技術を用いた質問難読度推定(QDE)の研究が急増している。 トランスフォーマーベースのニューラルネットワークは、主に教師なしの手法ではなく、教師なし学習における独立した研究によって、最先端のパフォーマンスを達成する。 教師付き手法は予測性能に重点を置いているが、十分なラベル付きデータが必要である。 一方、教師なしの手法はラベル付きデータを必要としないが、実際には計算コストがかかる別の評価基準に依存している。 この研究は、最先端のモデルの性能に適合しながらラベル付け作業を最小化する、教師付き人間ループアプローチであるQDEのアクティブラーニングを探求することで、研究ギャップを埋める。 アクティブな学習プロセスはラベル付きサブセットを反復的にトレーニングし、最も有意義なラベル付きデータポイントに対してのみ、人間の専門家からラベルを取得する。 さらに,ラベル付き集合に最も情報性の高いサンプルを付加する新たな取得関数PowerVarianceを提案する。 筆者らはDistolBERTをQDEに使用し,モンテカルロ液滴法を用いて未ラベル試料の疫学的不確実性を把握し,情報的サンプルを同定した。 実験により、PowerVarianceの取得によるアクティブラーニングは、トレーニングデータの10%だけをラベル付けした後、完全に教師付きモデルに近いパフォーマンスを達成することが示された。 提案手法は、教育資源の責任ある利用を促進し、QDEツールをコースインストラクターに利用しやすくし、パーソナライズされたサポートシステムや質問応答ツールなど他のアプリケーションにも有望である。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Robust online active learning [0.7734726150561089]
  本研究では, 汚染データストリームにおけるオンラインアクティブ線形回帰の性能について検討する。 本稿では,条件付きD-最適アルゴリズムの探索領域を限定し,ロバストな推定器を用いた解を提案する。
  論文  参考訳（メタデータ） (2023-02-01T13:14:26Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Active and Incremental Learning with Weak Supervision [7.2288756536476635]
  本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。 オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。 また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
  論文  参考訳（メタデータ） (2020-01-20T13:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。