論文の概要: Training with Streaming Annotation
- arxiv url: http://arxiv.org/abs/2002.04165v2
- Date: Sat, 4 Apr 2020 21:00:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 02:11:57.764644
- Title: Training with Streaming Annotation
- Title(参考訳): ストリーミングアノテーションによるトレーニング
- Authors: Tongtao Zhang, Heng Ji, Shih-Fu Chang, Marjorie Freedman
- Abstract要約: 本稿では,小規模バッチでトレーニングデータを解放する実践シナリオについて述べる。
我々は、事前訓練されたトランスフォーマーネットワークを使用して、初期のバッチから最も有能なドキュメント情報を保存し、統合する。
- 参考スコア(独自算出の注目度): 74.87701982278206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we address a practical scenario where training data is
released in a sequence of small-scale batches and annotation in earlier phases
has lower quality than the later counterparts. To tackle the situation, we
utilize a pre-trained transformer network to preserve and integrate the most
salient document information from the earlier batches while focusing on the
annotation (presumably with higher quality) from the current batch. Using event
extraction as a case study, we demonstrate in the experiments that our proposed
framework can perform better than conventional approaches (the improvement
ranges from 3.6 to 14.9% absolute F-score gain), especially when there is more
noise in the early annotation; and our approach spares 19.1% time with regard
to the best conventional method.
- Abstract(参考訳): 本稿では,トレーニングデータを小規模バッチのシーケンスでリリースし,初期フェーズにおけるアノテーションが後フェーズよりも品質が低い,という現実的なシナリオに対処する。
そこで本研究では,事前学習したトランスフォーマネットワークを用いて,先行バッチの文書情報を保存・統合し,現在のバッチからのアノテーション(おそらくは高品質)に注目する。
ケーススタディとしてイベント抽出を用いて,提案手法が従来の手法よりも優れた性能(改良は3.6~14.9%の絶対Fスコアゲイン)を示す実験を行った。
関連論文リスト
- EasyInv: Toward Fast and Better DDIM Inversion [107.52083973660899]
本稿では DDIM インバージョンへの容易かつ斬新なアプローチである EasyInv を紹介する。
EasyInvの中核となるのは、逆ノイズを近似するための洗練された戦略です。
我々は、EasyInvが従来のDDIMインバージョン手法と同等かそれ以上の結果を提供することができることを説明している。
論文 参考訳(メタデータ) (2024-08-09T16:31:02Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Adaptive Dimension Reduction and Variational Inference for Transductive
Few-Shot Classification [2.922007656878633]
適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。
提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
論文 参考訳(メタデータ) (2022-09-18T10:29:02Z) - Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative
Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。
このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2022-05-20T16:19:30Z) - Squeezing Backbone Feature Distributions to the Max for Efficient
Few-Shot Learning [3.1153758106426603]
ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。
本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。
また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
論文 参考訳(メタデータ) (2021-10-18T16:29:17Z) - A Positive/Unlabeled Approach for the Segmentation of Medical Sequences
using Point-Wise Supervision [3.883460584034766]
本稿では,ポイントワイズアノテーションのみを用いて,医用画像のボリュームや動画を効率的に分割する手法を提案する。
提案手法は,ポイントワイドアノテーションを用いて,適切なポジティブ/アンラベル対象関数を用いてディープラーニングモデルを訓練する。
提案手法は,同じ問題に適応した最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-18T09:13:33Z) - Positive-Unlabeled Classification under Class-Prior Shift: A
Prior-invariant Approach Based on Density Ratio Estimation [85.75352990739154]
密度比推定に基づく新しいPU分類法を提案する。
提案手法の顕著な利点は、訓練段階においてクラスプライヤを必要としないことである。
論文 参考訳(メタデータ) (2021-07-11T13:36:53Z) - More than just an auxiliary loss: Anti-spoofing Backbone Training via
Adversarial Pseudo-depth Generation [4.542003078412816]
RGB画像を用いたアンチ・スプーフィングのタスクにおいて,新たなトレーニング・パイプラインの手法について検討した。
本手法は, 15.8 倍のパラメータを用いて, 最新のアンチスプーフィングモデルのベースライン性能にアプローチする。
論文 参考訳(メタデータ) (2021-01-01T09:00:17Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。