論文の概要: AutoWS-Bench-101: Benchmarking Automated Weak Supervision with 100 Labels

• arxiv url: http://arxiv.org/abs/2208.14362v1
• Date: Tue, 30 Aug 2022 16:09:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 12:28:24.966613
• Title: AutoWS-Bench-101: Benchmarking Automated Weak Supervision with 100 Labels
• Title（参考訳）: autows-bench-101:100ラベルによる自動弱い監督
• Authors: Nicholas Roberts, Xintong Li, Tzu-Heng Huang, Dyah Adila, Spencer Schoenberg, Cheng-Yu Liu, Lauren Pick, Haotian Ma, Aws Albarghouthi, Frederic Sala
• Abstract要約: 私たちは、挑戦的なWS設定において、自動化されたWS技術を評価するためのフレームワークであるAutoWS-Bench-101を紹介します。 実践者がAutoWSメソッドを使ってラベルを追加するべきか、もっと単純なベースラインを使うべきかを問う。 我々はAutoWS手法の徹底的なアブレーション研究を結論付けている。
• 参考スコア（独自算出の注目度）: 16.90730106772869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weak supervision (WS) is a powerful method to build labeled datasets for training supervised models in the face of little-to-no labeled data. It replaces hand-labeling data with aggregating multiple noisy-but-cheap label estimates expressed by labeling functions (LFs). While it has been used successfully in many domains, weak supervision's application scope is limited by the difficulty of constructing labeling functions for domains with complex or high-dimensional features. To address this, a handful of methods have proposed automating the LF design process using a small set of ground truth labels. In this work, we introduce AutoWS-Bench-101: a framework for evaluating automated WS (AutoWS) techniques in challenging WS settings -- a set of diverse application domains on which it has been previously difficult or impossible to apply traditional WS techniques. While AutoWS is a promising direction toward expanding the application-scope of WS, the emergence of powerful methods such as zero-shot foundation models reveals the need to understand how AutoWS techniques compare or cooperate with modern zero-shot or few-shot learners. This informs the central question of AutoWS-Bench-101: given an initial set of 100 labels for each task, we ask whether a practitioner should use an AutoWS method to generate additional labels or use some simpler baseline, such as zero-shot predictions from a foundation model or supervised learning. We observe that in many settings, it is necessary for AutoWS methods to incorporate signal from foundation models if they are to outperform simple few-shot baselines, and AutoWS-Bench-101 promotes future research in this direction. We conclude with a thorough ablation study of AutoWS methods.
• Abstract（参考訳）: 弱監視(WS)はラベル付きデータセットを構築するための強力な手法であり、ラベル付きデータに対して教師付きモデルをトレーニングする。 ハンドラベルデータを、ラベル機能(lfs)で表現された複数のノイズ・ボタン・チープラベル推定値に置き換える。 多くのドメインでうまく使われているが、複雑なまたは高次元の特徴を持つドメインのラベリング関数を構築することの難しさにより、弱い監督のアプリケーションスコープは制限されている。 これを解決するために、少数の手法が、小さな基底真理ラベルを用いてLF設計プロセスを自動化することを提案した。 本稿では、従来のWS技術の適用がこれまで困難あるいは不可能であった様々なアプリケーションドメインのセットであるWS設定に挑戦する上で、自動化WS(AutoWS)テクニックを評価するためのフレームワークであるAutoWS-Bench-101を紹介します。 AutoWS は、WS のアプリケーションスコープの拡大に向けた有望な方向であるが、ゼロショット基礎モデルのような強力なメソッドの出現は、AutoWS の技術が現代のゼロショットや少数ショットの学習者とどのように比較または協力するかを理解する必要があることを示している。 このことはAutoWS-Bench-101の中心的な問題である: 各タスクに100のラベルの初期セットが与えられたら、実践者はAutoWSメソッドを使って追加のラベルを生成するべきか、あるいは基礎モデルのゼロショット予測や教師付き学習のようなより単純なベースラインを使うべきかを問う。 多くの環境では、autowsメソッドが基礎モデルからの信号を取り込む必要があると観察し、autows-bench-101はこの方向の将来の研究を促進する。 我々はAutoWS手法の徹底的なアブレーション研究を結論付けている。

関連論文リスト

• AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
  AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。 我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking [59.5517172952418]
  従来のゼロショット対話状態追跡(DST)手法は、転送学習のみを適用するが、ターゲット領域の非競合データを無視する。 我々は、ゼロショットDSTを、ジョイントおよび自己学習手法を用いて、そのような非ラベルデータを活用することで、少数ショットDSTに変換する。
  論文  参考訳（メタデータ） (2023-10-16T15:16:16Z)
• Universal Self-Adaptive Prompting [60.67460565566514]
  Universal Self-Adaptive Prompting (USP) はゼロショット学習に適した自動プロンプト設計手法である。 USPは普遍的なプロンプトを達成するために、可能なNLPタスクを3つの可能なタスクタイプのうちの1つに分類する。 我々は,PaLMおよびPaLM 2モデルを用いてUSPを評価し,標準ゼロショットベースラインよりもかなり強い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T09:09:48Z)
• Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering [52.09178018466104]
  データセットのセマンティックな特徴を生成するために、コンテキスト認識自動特徴工学(CAAFE)を導入する。 方法論的には単純だが、CAAFEは14のデータセットのうち11のパフォーマンスを改善している。 我々は,AutoMLシステムの範囲をセマンティックなAutoMLに拡張できるコンテキスト認識ソリューションの重要性を強調した。
  論文  参考訳（メタデータ） (2023-05-05T09:58:40Z)
• AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks [75.11008617118908]
  AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。 本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:23:16Z)
• AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
  本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。 本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
  論文  参考訳（メタデータ） (2023-02-07T07:12:05Z)
• Automatic Synthesis of Diverse Weak Supervision Sources for Behavior Analysis [37.077883083886114]
  AutoSWAPはデータ効率の高いタスクレベルのラベリング機能を自動的に合成するフレームワークである。 本稿では,AutoSWAPがラベル付け機能を自動生成する有効な方法であり,行動分析の専門的労力を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T07:51:12Z)
• Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
  本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。 我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。 解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
  論文  参考訳（メタデータ） (2021-09-12T18:34:33Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Named Entity Recognition without Labelled Data: A Weak Supervision Approach [23.05371427663683]
  本稿では,ラベル付きデータがない場合のNERモデルの学習方法を提案する。 このアプローチは、ターゲットドメインからテキストを自動的にアノテートするために、幅広いラベリング関数に依存している。 シーケンスラベリングモデルは、最終的にこの統一アノテーションに基づいて訓練することができる。
  論文  参考訳（メタデータ） (2020-04-30T12:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。