論文の概要: ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them

• arxiv url: http://arxiv.org/abs/2005.07934v2
• Date: Sat, 5 Sep 2020 13:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 13:25:31.030586
• Title: ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them
• Title（参考訳）: ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and whether self-Training help them
• Authors: Dawid Jurkiewicz, {\L}ukasz Borchmann, Izabela Kosmala, Filip Grali\'nski
• Abstract要約: 本稿では,プロパガンダ技術分類(TC)タスクの当選システムと,プロパガンダスパン識別(SI)タスクの第2位システムについて述べる。 いずれのソリューションも、半教師付き学習技術を用いて自己学習を行った。
• 参考スコア（独自算出の注目度）: 7.679212486018838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the winning system for the propaganda Technique Classification (TC) task and the second-placed system for the propaganda Span Identification (SI) task. The purpose of TC task was to identify an applied propaganda technique given propaganda text fragment. The goal of SI task was to find specific text fragments which contain at least one propaganda technique. Both of the developed solutions used semi-supervised learning technique of self-training. Interestingly, although CRF is barely used with transformer-based language models, the SI task was approached with RoBERTa-CRF architecture. An ensemble of RoBERTa-based models was proposed for the TC task, with one of them making use of Span CLS layers we introduce in the present paper. In addition to describing the submitted systems, an impact of architectural decisions and training schemes is investigated along with remarks regarding training models of the same or better quality with lower computational budget. Finally, the results of error analysis are presented.
• Abstract（参考訳）: 本稿では,プロパガンダ技術分類(TC)タスクの当選システムと,プロパガンダスパン識別(SI)タスクの第2位システムについて述べる。 TCタスクの目的は,プロパガンダテキストフラグメントを付与した適用プロパガンダ技術を特定することである。 siタスクの目的は、少なくとも1つのプロパガンダ技術を含む特定のテキストフラグメントを見つけることだった。 いずれのソリューションも、半教師付き学習技術を用いて自己学習を行った。 興味深いことに、CRFはトランスフォーマーベースの言語モデルではほとんど使われていないが、SIタスクはRoBERTa-CRFアーキテクチャでアプローチされた。 本稿では,本論文で紹介したSpan CLSレイヤを用いて,RoBERTaをベースとしたモデルのアンサンブルを提案する。 提案したシステムを説明することに加えて,アーキテクチャ決定とトレーニングスキームの影響を,より低い計算予算で同じ又はより良い品質のトレーニングモデルについて考察した。 最後に,誤差解析の結果を示す。

関連論文リスト

• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Fine-tuned network relies on generic representation to solve unseen cognitive task [0.0]
  微調整された事前訓練された言語モデルは、幅広いタスクにおいて有望な結果を示しているが、それらはより一般的な事前訓練された表現に依存しているのだろうか? そこで我々は,GPT-2を文脈依存型意思決定タスクで微調整し,モデルに新しいが神経科学の文献に適応した。 我々は、その性能と内部メカニズムを、同じタスクでスクラッチからトレーニングしたGPT-2のバージョンと比較した。
  論文  参考訳（メタデータ） (2024-06-27T06:33:41Z)
• USTC-NELSLIP at SemEval-2023 Task 2: Statistical Construction and Dual Adaptation of Gazetteer for Multilingual Complex NER [36.39635200544498]
  本稿では,SemEval-2023 Task 2 Multilingual Complex Named Entity Recognition (MultiCoNER II)のためにUSTC-NELSLIPチームが開発したシステムについて述べる。 提案手法はWikidata で構築したガゼッタを用いて XLM-R に適用され,様々なトラックにまたがる高度な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-05-04T03:00:46Z)
• Neural Coreference Resolution based on Reinforcement Learning [53.73316523766183]
  コアレゾリューションシステムは2つのサブタスクを解決する必要がある。 ひとつのタスクは、潜在的な言及のすべてを検出することであり、もう1つは、可能な言及ごとに前者のリンクを学習することである。 本稿では,アクターをベースとした強化学習型ニューラルコア参照分解システムを提案する。
  論文  参考訳（メタデータ） (2022-12-18T07:36:35Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• PIN: A Novel Parallel Interactive Network for Spoken Language Understanding [68.53121591998483]
  既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-09-28T15:59:31Z)
• Solomon at SemEval-2020 Task 11: Ensemble Architecture for Fine-Tuned Propaganda Detection in News Articles [0.3232625980782302]
  本稿では,第11節「新聞記事におけるプロパガンダ技術の検出」に参画したシステム(ソロモン)の詳細と成果について述べる。 プロパガンダデータセットの微調整にRoBERTaベースのトランスフォーマーアーキテクチャを使用した。 他の参加システムと比較して、私たちの応募はリーダーボードで4位です。
  論文  参考訳（メタデータ） (2020-09-16T05:00:40Z)
• YNU-HPCC at SemEval-2020 Task 11: LSTM Network for Detection of Propaganda Techniques in News Articles [5.352512345142247]
  本稿では,SemEval-2020タスク11におけるニュース記事のプロパガンダ検出手法について概説する。 本稿では,GloVe単語表現,BERT事前学習モデル,LSTMモデルアーキテクチャを実装した。 本手法は, テストセットにおいて, SIおよびTCサブタスクのランクが17位, 22位, それぞれ有意に向上した。
  論文  参考訳（メタデータ） (2020-08-24T02:42:12Z)
• newsSweeper at SemEval-2020 Task 11: Context-Aware Rich Feature Representations For Propaganda Classification [2.0491741153610334]
  本稿では,SemEval 2020 Task 11: Detection of Propaganda Techniques in News Articlesについて述べる。 我々は、名前付きエンティティ認識タスクのために開発されたタグ付け技術により、事前訓練されたBERT言語モデルを活用している。 第2のサブタスクでは,プロパガンダ手法の分類のために,事前学習したRoBERTaモデルにコンテキスト特徴を組み込む。
  論文  参考訳（メタデータ） (2020-07-21T14:06:59Z)
• Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
  クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。 既存のFSCモデルに対する新しいトレーニング手法を提案する。 説明誘導学習はモデル一般化を効果的に改善することを示す。
  論文  参考訳（メタデータ） (2020-07-17T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。