論文の概要: VirAAL: Virtual Adversarial Active Learning For NLU

• arxiv url: http://arxiv.org/abs/2005.07287v2
• Date: Mon, 16 Nov 2020 21:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 05:05:25.106512
• Title: VirAAL: Virtual Adversarial Active Learning For NLU
• Title（参考訳）: VirAal:NLUのための仮想敵アクティブラーニング
• Authors: Gregory Senay, Badr Youbi Idrissi, Marine Haziza
• Abstract要約: VirAALは、自然言語理解(NLU)におけるアノテーションの労力を減らすことを目的としている。 VirAALはVirtual Adversarial Training (VAT)をベースとしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents VirAAL, an Active Learning framework based on Adversarial Training. VirAAL aims to reduce the effort of annotation in Natural Language Understanding (NLU). VirAAL is based on Virtual Adversarial Training (VAT), a semi-supervised approach that regularizes the model through Local Distributional Smoothness. With that, adversarial perturbations are added to the inputs making the posterior distribution more consistent. Therefore, entropy-based Active Learning becomes robust by querying more informative samples without requiring additional components. The first set of experiments studies the impact of an adapted VAT for joint-NLU tasks within low labeled data regimes. The second set shows the effect of VirAAL in an Active Learning (AL) process. Results demonstrate that VAT is robust even on multi-task training, where the adversarial noise is computed from multiple loss functions. Substantial improvements are observed with entropy-based AL with VirAAL for querying data to annotate. VirAAL is an inexpensive method in terms of AL computation with a positive impact on data sampling. Furthermore, VirAAL decreases annotations in AL up to 80% and shows improvements over existing data augmentation methods. The code is publicly available.
• Abstract（参考訳）: 本稿では,適応学習に基づくアクティブラーニングフレームワークVirAALについて述べる。 VirAALは、自然言語理解(NLU)におけるアノテーションの労力を減らすことを目的としている。 VirAALはVirtual Adversarial Training (VAT)をベースとしている。 これにより、逆向性摂動が入力に付加され、後方分布がより一貫したものになる。 したがって、エントロピーベースのActive Learningは、追加のコンポーネントを必要とせずに、より情報のあるサンプルをクエリすることで堅牢になる。 最初の実験では、ラベルの低いデータ構造における共同NLUタスクに対する適応型VATの影響について研究した。 第2のセットは、アクティブラーニング(AL)プロセスにおけるVirAALの効果を示している。 その結果,VATはマルチタスクトレーニングにおいても頑健であり,複数の損失関数から対向雑音を計算することができた。 データをアノテートするためにVirAALを使用したエントロピーベースのALで、実質的な改善が観察される。 VirAALは、データサンプリングに肯定的な影響を与えるAL計算の点で安価な方法である。 さらに、viraalはalのアノテーションを80%まで削減し、既存のデータ拡張メソッドよりも改善されている。 コードは公開されている。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• MyriadAL: Active Few Shot Learning for Histopathology [10.652626309100889]
  我々は、Myriad Active Learning (MAL)という、アクティブな数個のショットラーニングフレームワークを導入する。 MALには、コントラスト学習エンコーダ、擬似ラベル生成、ループ内の新しいクエリサンプル選択が含まれている。 2つの公的な病理組織学データセットの実験により、MALは以前の研究に比べてテスト精度、マクロF1スコア、ラベル効率が優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-24T20:08:15Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• TAAL: Test-time Augmentation for Active Learning in Medical Image Segmentation [7.856339385917824]
  本稿では,セグメンテーションのための半教師付きアクティブラーニング手法であるTAAL(Test-time Augmentation for Active Learning)を提案する。 以上の結果から,TAALは既存のベースライン法よりも,完全教師付きと半教師付きの両方で優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-16T22:19:41Z)
• An Empirical Study on the Efficacy of Deep Active Learning for Image Classification [11.398892277968427]
  ディープアクティブラーニング(DAL)は、教師あり学習におけるラベリングコストを削減するための有望な方法として提唱されている。 既存のDAL手法の評価は異なる設定に基づいており、その結果は議論の余地がある。 本稿では,19の既存DAL手法を一様条件で総合的に評価する。
  論文  参考訳（メタデータ） (2022-11-30T17:44:59Z)
• Fair Robust Active Learning by Joint Inconsistency [22.150782414035422]
  本稿では,従来のFALと対角的堅牢性を統合したFAL(Fair Robust Active Learning)を提案する。 関節不整合(JIN)による簡易かつ効果的なFRAL戦略の開発 本手法は, 良性サンプルと逆性サンプルと, 標準モデルとロバストモデルとの整合性の予測を利用する。
  論文  参考訳（メタデータ） (2022-09-22T01:56:41Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Towards Robust and Reproducible Active Learning Using Neural Networks [15.696979318409392]
  アクティブラーニング(AL)は、大きなラベルのないデータを解析する可能性を持つ、有望なMLパラダイムである。 近年、ニューラルネットワークに基づくAL手法が、ラベル付けデータを禁止可能な領域におけるアノテーションコストの削減に有効である。 本研究では,異なるタイプのALアルゴリズムがランダムサンプリングベースラインよりも不整合ゲインを生み出すことを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。