論文の概要: WALNUT: A Benchmark on Weakly Supervised Learning for Natural Language
Understanding
- arxiv url: http://arxiv.org/abs/2108.12603v1
- Date: Sat, 28 Aug 2021 08:33:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 14:58:35.167134
- Title: WALNUT: A Benchmark on Weakly Supervised Learning for Natural Language
Understanding
- Title(参考訳): WALNUT: 自然言語理解のための弱教師付き学習ベンチマーク
- Authors: Guoqing Zheng, Giannis Karamanolakis, Kai Shu, Ahmed Hassan Awadallah
- Abstract要約: 大量のラベル付きデータが利用できない、あるいは入手に費用がかかる場合、弱監視は貴重な監視を提供する。
現在までに、NLUタスクのコレクションに対する現実の弱い監視信号を持つNLUのベンチマークは、まだ利用できない。
我々は,NLUの弱監督研究を提唱し,促進するため,WALNUTというベンチマークを提案する。
- 参考スコア(独自算出の注目度): 29.139988288459122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building quality machine learning models for natural language understanding
(NLU) tasks relies heavily on labeled data. Weak supervision has been shown to
provide valuable supervision when large amount of labeled data is unavailable
or expensive to obtain. Existing works studying weak supervision for NLU either
mostly focus on a specific task or simulate weak supervision signals from
ground-truth labels. To date a benchmark for NLU with real world weak
supervision signals for a collection of NLU tasks is still not available. In
this paper, we propose such a benchmark, named WALNUT, to advocate and
facilitate research on weak supervision for NLU. WALNUT consists of NLU tasks
with different types, including both document-level prediction tasks and
token-level prediction tasks and for each task contains weak labels generated
by multiple real-world weak sources. We conduct baseline evaluations on the
benchmark to systematically test the value of weak supervision for NLU tasks,
with various weak supervision methods and model architectures. We demonstrate
the benefits of weak supervision for low-resource NLU tasks and expect WALNUT
to stimulate further research on methodologies to best leverage weak
supervision. The benchmark and code for baselines will be publicly available at
aka.ms/walnut_benchmark.
- Abstract(参考訳): 自然言語理解(nlu)タスクのための高品質な機械学習モデルの構築は、ラベル付きデータに大きく依存する。
大量のラベル付きデータが入手できない、あるいは入手に費用がかかる場合、弱みの監視が貴重な監視を提供することが示されている。
NLUの弱い監督を研究する研究は、主に特定のタスクに焦点をあてるか、または地上の真実のラベルから弱い監督信号をシミュレートする。
現在までに、NLUタスクのコレクションに対する現実の弱い監視信号を持つNLUのベンチマークは、まだ利用できない。
本稿では,NLUの弱監督研究を提唱し,促進するため,WALNUTというベンチマークを提案する。
WALNUTは、文書レベルの予測タスクとトークンレベルの予測タスクの両方を含む異なるタイプのNLUタスクで構成され、各タスクには複数の現実世界の弱いソースによって生成される弱いラベルが含まれている。
我々は,NLUタスクの弱い監督手法とモデルアーキテクチャを用いて,ベンチマークのベースライン評価を行い,弱い監督手法の価値を体系的に検証する。
我々は、低リソースのNLUタスクに対する弱い監督の利点を実証し、WALNUTが弱い監督を最大限活用するための方法論のさらなる研究を促進することを期待する。
ベースラインのベンチマークとコードは、aka.ms/walnut_benchmarkで公開される。
関連論文リスト
- A General Framework for Learning from Weak Supervision [97.4298482689398]
本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。
GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。
また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-02T21:48:50Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - WeCheck: Strong Factual Consistency Checker via Weakly Supervised
Learning [40.5830891229718]
本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。
様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
論文 参考訳(メタデータ) (2022-12-20T08:04:36Z) - Label Propagation with Weak Supervision [47.52032178837098]
古典的ラベル伝搬アルゴリズム(LPA)の新しい解析法について紹介する(Zhu & Ghahramani, 2002)。
基礎となるグラフの局所的幾何学的性質と先行情報の品質の両方を利用する誤差境界を提供する。
提案手法は,従来の半教師付き手法と弱教師付き手法を改良した,弱教師付き分類タスクに応用できることを実証する。
論文 参考訳(メタデータ) (2022-10-07T14:53:02Z) - Low Resource Pipeline for Spoken Language Understanding via Weak
Supervision [5.9901156966011975]
Weak Supervised Learning (WSL)では、セマンティックルールとタスク固有の事前学習モデルから得られたノイズの多いラベルに基づいてモデルを訓練する。
タスク非依存のプロンプトは一般化可能であり,様々な音声言語理解(SLU)タスクのノイズラベルを得るのに利用できることを示す。
そこで我々は,SLUタスクの信頼ラベルを生成するプロンプトベースの手法を,ラベル付きデータがない場合に,弱教師付きモデル(WSM)を訓練するための普遍的な弱い情報源として利用することができることを示した。
論文 参考訳(メタデータ) (2022-06-21T17:36:31Z) - Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News
Detection [93.6222609806278]
本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。
LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。
LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
論文 参考訳(メタデータ) (2022-06-10T16:01:58Z) - CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。
近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
論文 参考訳(メタデータ) (2021-11-04T00:43:15Z) - Learning to Selectively Learn for Weakly-supervised Paraphrase
Generation [81.65399115750054]
弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。
具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。
検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。
提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
論文 参考訳(メタデータ) (2021-09-25T23:31:13Z) - Self-Training with Weak Supervision [32.68342091430266]
最先端のディープニューラルネットワークには、多くのタスクで入手するのに高価な大規模なラベル付きトレーニングデータが必要です。
ドメイン固有のルールの形での弱い監視は、そのような設定で有用であることが示されている。
我々は、与えられたタスクに利用可能なすべてのデータを活用する弱い監視フレームワーク(ASTRA)を開発する。
論文 参考訳(メタデータ) (2021-04-12T14:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。