論文の概要: TagRuler: Interactive Tool for Span-Level Data Programming by
Demonstration
- arxiv url: http://arxiv.org/abs/2106.12767v1
- Date: Thu, 24 Jun 2021 04:49:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:14:27.308505
- Title: TagRuler: Interactive Tool for Span-Level Data Programming by
Demonstration
- Title（参考訳）: TagRuler: デモによるスパンレベルデータプログラミングのためのインタラクティブツール
- Authors: Dongjin Choi and Sara Evensen and \c{C}a\u{g}atay Demiralp and Estevam
Hruschka
- Abstract要約: データプログラミングは、プログラミングの方法を知っているユーザーにのみアクセス可能だった。
我々はTagRulerという新しいツールを構築し、アノテータがプログラミングなしでスパンレベルのラベリング関数を簡単に構築できるようにする。
- 参考スコア（独自算出の注目度）: 1.4050836886292872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite rapid developments in the field of machine learning research,
collecting high-quality labels for supervised learning remains a bottleneck for
many applications. This difficulty is exacerbated by the fact that
state-of-the-art models for NLP tasks are becoming deeper and more complex,
often increasing the amount of training data required even for fine-tuning.
Weak supervision methods, including data programming, address this problem and
reduce the cost of label collection by using noisy label sources for
supervision. However, until recently, data programming was only accessible to
users who knew how to program. To bridge this gap, the Data Programming by
Demonstration framework was proposed to facilitate the automatic creation of
labeling functions based on a few examples labeled by a domain expert. This
framework has proven successful for generating high-accuracy labeling models
for document classification. In this work, we extend the DPBD framework to
span-level annotation tasks, arguably one of the most time-consuming NLP
labeling tasks. We built a novel tool, TagRuler, that makes it easy for
annotators to build span-level labeling functions without programming and
encourages them to explore trade-offs between different labeling models and
active learning strategies. We empirically demonstrated that an annotator could
achieve a higher F1 score using the proposed tool compared to manual labeling
for different span-level annotation tasks.
- Abstract（参考訳）: 機械学習研究の分野での急速な発展にもかかわらず、教師付き学習のための高品質なラベルの収集は多くのアプリケーションにとってボトルネックとなっている。
この難しさは、NLPタスクの最先端モデルがより深く複雑になり、微調整に必要となるトレーニングデータの量が増えつつあるという事実によって悪化する。
データプログラミングを含む弱監督手法は、この問題に対処し、ノイズの多いラベルソースを使用してラベル収集のコストを削減する。
しかし、最近までデータプログラミングはプログラミングの仕方を知っているユーザーにしかアクセスできなかった。
このギャップを埋めるために、実証フレームワークによるデータプログラミングが提案され、ドメインエキスパートがラベル付けしたいくつかの例に基づいたラベル付け関数の自動生成が容易になった。
このフレームワークは、文書分類のための高精度なラベリングモデルの生成に成功している。
本研究では DPBD フレームワークを,最も時間を要する NLP ラベルタスクの1つであるスパンレベルアノテーションタスクに拡張する。
私たちはTagRulerという新しいツールを構築しました。アノテータがプログラミングなしでスパンレベルのラベリング関数を簡単に構築できるようにし、異なるラベリングモデルとアクティブな学習戦略間のトレードオフを探索できるようにします。
提案手法を用いて,異なるスパンレベルのアノテーションタスクに対する手作業によるラベリングと比較して,アノテータが高いf1スコアを達成できることを実験的に実証した。
関連論文リスト
- A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。
遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2023-03-31T07:06:24Z) - AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。
本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
論文 参考訳（メタデータ） (2023-02-07T07:12:05Z) - MEGAnno: Exploratory Labeling for NLP in Computational Notebooks [9.462926987075122]
本稿では,NLP実践者と研究者を対象とした新しいアノテーションフレームワークMEGAnnoを紹介する。
MEGAnnoを使えば、ユーザーは高度な検索機能と対話型提案機能を通じてデータを探索できる。
我々は,MEGAnnoのフレキシブル,探索的,効率的,シームレスなラベル付け体験を感情分析のユースケースを通じて実証する。
論文 参考訳（メタデータ） (2023-01-08T19:16:22Z) - A Weakly Supervised Learning Framework for Salient Object Detection via
Hybrid Labels [96.56299163691979]
本稿では,ハイブリッドラベル下でのSODタスクに焦点をあてる。
このタスクにおけるラベルノイズと量不均衡の問題に対処するため、我々は3つの洗練されたトレーニング戦略を持つ新しいパイプラインフレームワークを設計する。
5つのSODベンチマーク実験により,本手法は弱教師付き/非教師付き手法と競合する性能を示した。
論文 参考訳（メタデータ） (2022-09-07T06:45:39Z) - MONAI Label: A framework for AI-assisted Interactive Labeling of 3D
Medical Images [49.664220687980006]
注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。
本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
論文 参考訳（メタデータ） (2022-03-23T12:33:11Z) - Generate, Annotate, and Learn: Generative Models Advance Self-Training
and Knowledge Distillation [58.64720318755764]
Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。
知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。
我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-11T05:01:24Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳（メタデータ） (2020-11-20T08:26:10Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T22:29:05Z) - Data Programming by Demonstration: A Framework for Interactively
Learning Labeling Functions [2.338938629983582]
本稿では,ユーザによるインタラクティブなデモンストレーションによるラベル付けルールを生成するために,DPBD(Data Programming by Demo)という新しいフレームワークを提案する。
DPBDは、ユーザからのラベリング関数記述の負担を軽減し、より高いレベルのセマンティクスに集中できるようにすることを目的としている。
文書分類のためのラベル付けルールを,文書例におけるユーザのスパンレベルアノテーションを用いて合成する対話型システムであるReducerを用いて,我々のフレームワークを運用する。
論文 参考訳（メタデータ） (2020-09-03T04:25:08Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳（メタデータ） (2020-06-12T22:45:47Z) - Generative Adversarial Data Programming [32.2164057862111]
本稿では,ラベル付け機能を用いた遠隔監視信号を用いて,与えられたデータのラベルをほぼ一定時間で取得できることを示す。
このフレームワークは、自己教師付きラベル付き画像生成、ラベル付き画像生成へのゼロショットテキスト、転送学習、マルチタスク学習など、さまざまな設定に拡張されている。
論文 参考訳（メタデータ） (2020-04-30T07:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。