論文の概要: PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning

• arxiv url: http://arxiv.org/abs/2203.09735v1
• Date: Fri, 18 Mar 2022 04:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:53:17.856485
• Title: PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning
• Title（参考訳）: PRBoost: 対話型弱監視学習のためのプロンプトに基づくルール発見とブースティング
• Authors: Rongzhi Zhang, Yue Yu, Pranav Shetty, Le Song, Chao Zhang
• Abstract要約: 弱教師付き学習(WSL)は,多くのNLPタスクにおいてラベル不足に対処する上で有望な結果を示した。 提案モデルであるPRBoostは、反復的なプロンプトベースのルール発見とモデル強化によってこの目標を達成する。 4つのタスクの実験では、PRBoostは最先端のWSLベースラインを7.1%まで上回っている。
• 参考スコア（独自算出の注目度）: 57.66155242473784
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weakly-supervised learning (WSL) has shown promising results in addressing label scarcity on many NLP tasks, but manually designing a comprehensive, high-quality labeling rule set is tedious and difficult. We study interactive weakly-supervised learning -- the problem of iteratively and automatically discovering novel labeling rules from data to improve the WSL model. Our proposed model, named PRBoost, achieves this goal via iterative prompt-based rule discovery and model boosting. It uses boosting to identify large-error instances and then discovers candidate rules from them by prompting pre-trained LMs with rule templates. The candidate rules are judged by human experts, and the accepted rules are used to generate complementary weak labels and strengthen the current model. Experiments on four tasks show PRBoost outperforms state-of-the-art WSL baselines up to 7.1% and bridges the gaps with fully supervised models. Our Implementation is available at \url{https://github.com/rz-zhang/PRBoost}.
• Abstract（参考訳）: 弱教師付き学習(WSL)は,多くのNLPタスクにおいてラベル不足に対処する上で有望な結果を示している。 本稿では,データから新たなラベル付け規則を自動的に発見し,WSLモデルを改善するために,インタラクティブな教師付き学習について検討する。 提案モデルであるPRBoostは、反復的なプロンプトベースのルール発見とモデル強化によってこの目標を達成する。 boostingを使用して大規模なエラーインスタンスを特定し、事前トレーニングされたLMにルールテンプレートを付与することで、候補ルールを検出する。 候補ルールは人間の専門家によって判断され、受け入れられたルールは補完的な弱いラベルを生成し、現在のモデルを強化するために使用される。 4つのタスクでの実験では、prboostは最先端のwslベースラインを7.1%上回り、完全な教師付きモデルでギャップを埋める。 我々の実装は \url{https://github.com/rz-zhang/PRBoost} で利用可能です。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• Local Boosting for Weakly-Supervised Learning [21.95003048165616]
  ブースティングは、強力なアンサンブルモデルと組み合わせることで、ベースモデルのセットのパフォーマンスを向上させる技術である。 弱い教師付き学習では、ほとんどのデータが弱くてノイズの多い情報源によってラベル付けされているが、効果的な強化アプローチを設計するのは簡単ではない。 我々は、弱教師付きブースティングのための新しいフレームワークである$textitLocalBoost$を提案する。
  論文  参考訳（メタデータ） (2023-06-05T13:24:03Z)
• To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion [35.05965140700747]
  我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T14:53:20Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• Low Resource Pipeline for Spoken Language Understanding via Weak Supervision [5.9901156966011975]
  Weak Supervised Learning (WSL)では、セマンティックルールとタスク固有の事前学習モデルから得られたノイズの多いラベルに基づいてモデルを訓練する。 タスク非依存のプロンプトは一般化可能であり,様々な音声言語理解(SLU)タスクのノイズラベルを得るのに利用できることを示す。 そこで我々は,SLUタスクの信頼ラベルを生成するプロンプトベースの手法を,ラベル付きデータがない場合に,弱教師付きモデル(WSM)を訓練するための普遍的な弱い情報源として利用することができることを示した。
  論文  参考訳（メタデータ） (2022-06-21T17:36:31Z)
• Large-Scale Pre-training for Person Re-identification with Noisy Labels [125.49696935852634]
  雑音ラベル(PNL)を利用した大規模事前学習フレームワークを開発した。 原則として、これらの3つのモジュールの合同学習は、1つのプロトタイプに類似したクラスタの例だけでなく、プロトタイプの割り当てに基づいてノイズラベルを修正します。 このシンプルな事前学習タスクは、ベルやwhiを使わずに"LUPerson-NL"でSOTA Re-ID表現をスクラッチから学習するスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2022-03-30T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。