論文の概要: 1Cademy @ Causal News Corpus 2022: Leveraging Self-Training in Causality
Classification of Socio-Political Event Data
- arxiv url: http://arxiv.org/abs/2211.02729v1
- Date: Fri, 4 Nov 2022 20:02:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:35:58.363953
- Title: 1Cademy @ Causal News Corpus 2022: Leveraging Self-Training in Causality
Classification of Socio-Political Event Data
- Title（参考訳）: 1Cademy @ Causal News Corpus 2022: 社会・政治イベントデータの因果分類における自己学習の活用
- Authors: Adam Nik, Ge Zhang, Xingran Chen, Mingyu Li, Jie Fu
- Abstract要約: イベント因果検出のための自己学習パイプラインを提案する。
自己学習過程における正あるいは負の自己ラベル付きサンプルの数を制限することが,分類性能に与える影響を検証した。
これらの結果から,自己学習は全モデルにおいて総合的な性能向上をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 31.170220710119327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper details our participation in the Challenges and Applications of
Automated Extraction of Socio-political Events from Text (CASE) workshop @
EMNLP 2022, where we take part in Subtask 1 of Shared Task 3. We approach the
given task of event causality detection by proposing a self-training pipeline
that follows a teacher-student classifier method. More specifically, we
initially train a teacher model on the true, original task data, and use that
teacher model to self-label data to be used in the training of a separate
student model for the final task prediction. We test how restricting the number
of positive or negative self-labeled examples in the self-training process
affects classification performance. Our final results show that using
self-training produces a comprehensive performance improvement across all
models and self-labeled training sets tested within the task of event causality
sequence classification. On top of that, we find that self-training performance
did not diminish even when restricting either positive/negative examples used
in training. Our code is be publicly available at
https://github.com/Gzhang-umich/1CademyTeamOfCASE.
- Abstract（参考訳）: 本稿では,テキスト(ケース)ワークショップ@emnlp 2022における社会政治イベントの自動抽出の課題と応用について紹介する。
本稿では,教師-学生分類法に従う自己学習パイプラインを提案することで,事象因果検出のタスクにアプローチする。
より具体的には、最初は真のタスクデータに基づいて教師モデルを訓練し、その教師モデルを自己ラベルデータに使用して、最終タスク予測のために別の学生モデルのトレーニングに使用する。
自己学習過程における正または負の自己ラベル例の数の制限が分類性能に与える影響を検証した。
最終結果は、イベント因果配列分類のタスク内でテストされた全モデルおよび自己ラベル付きトレーニングセットに対して、自己学習を用いることで包括的なパフォーマンス改善が達成されることを示す。
その上、トレーニングで使用したポジティブ/ネガティブな例を制限しても、自己トレーニングのパフォーマンスは低下しないことがわかった。
私たちのコードはhttps://github.com/Gzhang-umich/1CademyTeamOfCASEで公開されています。
関連論文リスト
- Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning [0.3281128493853064]
過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。
既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。
本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
論文 参考訳（メタデータ） (2024-09-26T20:18:14Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳（メタデータ） (2024-02-08T03:46:32Z) - Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization [89.04537372465612]
ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
論文 参考訳（メタデータ） (2022-12-20T17:27:10Z) - SEPT: Towards Scalable and Efficient Visual Pre-Training [11.345844145289524]
自己教師付き事前トレーニングは、ダウンストリームタスクのパフォーマンスを改善するために大規模なラベルなしデータを活用する大きな可能性を示している。
タスク固有の自己教師型事前学習フレームワークを構築し,対象タスクに類似した分布を持つ未ラベルサンプルの事前学習が,大幅な性能向上をもたらすという単純な仮説に基づいて構築する。
論文 参考訳（メタデータ） (2022-12-11T11:02:11Z) - STAD: Self-Training with Ambiguous Data for Low-Resource Relation
Extraction [7.750796307269968]
我々は,低リソース関係抽出のための簡易かつ効果的な自己学習手法STADを提案する。
SemEval2010 Task-8とRe-TACREDの低リソース設定で広く使われている2つのデータセットの実験結果から、この新しい自己学習アプローチが顕著で一貫した改善を実現することが示されている。
論文 参考訳（メタデータ） (2022-09-03T14:16:12Z) - Segment-level Metric Learning for Few-shot Bioacoustic Event Detection [56.59107110017436]
本稿では,モデル最適化時の肯定的事象と否定的事象の両方を利用するセグメントレベルの数ショット学習フレームワークを提案する。
本システムでは,DCASE2022チャレンジタスク5(DCASE2022-T5)のF値62.73の検証を行い,ベースラインプロトタイプネットワーク34.02の性能を大きなマージンで向上させる。
論文 参考訳（メタデータ） (2022-07-15T22:41:30Z) - Cluster & Tune: Boost Cold Start Performance in Text Classification [21.957605438780224]
実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。
中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2022-03-20T15:29:34Z) - Semi-Supervised Text Classification via Self-Pretraining [0.0]
本稿では,自己学習と呼ばれる半教師付き学習モデルを提案する。
我々のモデルは古典的な自己学習アルゴリズムにインスパイアされている。
以前はラベル付けされていた文書に対する信条を更新する可能性がある。
論文 参考訳（メタデータ） (2021-09-30T17:45:16Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳（メタデータ） (2020-04-30T17:09:17Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。