Fugu-MT 論文翻訳(概要): aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning

論文の概要: aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning

arxiv url: http://arxiv.org/abs/2008.02837v1
Date: Thu, 6 Aug 2020 18:45:25 GMT
ステータス: 処理完了
システム内更新日: 2022-11-02 06:29:24.300902
Title: aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning
Title（参考訳）: Aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, Transfer Learning
Authors: Anton Chernyavskiy, Dmitry Ilvovsky, Preslav Nakov
Abstract要約: 本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
参考スコア（独自算出の注目度）: 22.90521056447551
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We describe our system for SemEval-2020 Task 11 on Detection of Propaganda Techniques in News Articles. We developed ensemble models using RoBERTa-based neural architectures, additional CRF layers, transfer learning between the two subtasks, and advanced post-processing to handle the multi-label nature of the task, the consistency between nested spans, repetitions, and labels from similar spans in training. We achieved sizable improvements over baseline fine-tuned RoBERTa models, and the official evaluation ranked our system 3rd (almost tied with the 2nd) out of 36 teams on the span identification subtask with an F1 score of 0.491, and 2nd (almost tied with the 1st) out of 31 teams on the technique classification subtask with an F1 score of 0.62.
Abstract（参考訳）: 本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル性,ネストスパン間の一貫性,繰り返し,トレーニング中の同様のスパンからのラベルを扱うための高度な後処理を用いたアンサンブルモデルを開発した。我々は,ベースライン微調整のRoBERTaモデルに対して大幅な改良を行い,F1スコアが0.491で,F1スコアが0.62で,36チーム中3位(ほとんどは第2位)、31チーム中2位(ほぼ第1位)をF1スコアが0.62で評価した。

関連論文リスト

ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。 BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文参考訳（メタデータ） (2024-04-30T17:06:20Z)
GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning [4.2570830892708225]
本稿では,サブタスクAとサブタスクBの両方を含む,MEDIQA-2023 Dialogue2Note共有タスクへのコントリビューションについて述べる。本稿では,対話要約問題としてタスクにアプローチし,a)事前学習した対話要約モデルとGPT-3の微調整,およびb)大規模言語モデルであるGPT-4を用いた少数ショットインコンテキスト学習(ICL)の2つのパイプラインを実装した。どちらの方法もROUGE-1 F1、BERTScore F1(deberta-xlarge-mnli)、BLEURTで優れた結果が得られる。
論文参考訳（メタデータ） (2023-05-08T19:16:26Z)
Detecting Generated Scientific Papers using an Ensemble of Transformer Models [4.56877715768796]
DAGPap22共有タスクのために開発されたニューラルモデルについて,Scholarly Document Processingの第3ワークショップで紹介した。我々の研究は、異なるトランスフォーマーベースのモデルの比較と、不均衡なクラスを扱うために追加のデータセットとテクニックの使用に焦点を当てている。
論文参考訳（メタデータ） (2022-09-17T08:43:25Z)
Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文参考訳（メタデータ） (2022-02-28T16:07:19Z)
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文参考訳（メタデータ） (2021-11-18T06:48:00Z)
The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文参考訳（メタデータ） (2021-07-24T09:53:34Z)
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文参考訳（メタデータ） (2021-02-09T08:19:49Z)
Solomon at SemEval-2020 Task 11: Ensemble Architecture for Fine-Tuned Propaganda Detection in News Articles [0.3232625980782302]
本稿では,第11節「新聞記事におけるプロパガンダ技術の検出」に参画したシステム(ソロモン)の詳細と成果について述べる。プロパガンダデータセットの微調整にRoBERTaベースのトランスフォーマーアーキテクチャを使用した。他の参加システムと比較して、私たちの応募はリーダーボードで4位です。
論文参考訳（メタデータ） (2020-09-16T05:00:40Z)
syrapropa at SemEval-2020 Task 11: BERT-based Models Design For Propagandistic Technique and Span Detection [2.0051855303186046]
まず,SpanBERTに基づくSpan Identification(SI)モデルを構築し,より深いモデルと文レベルの表現による検出を容易にする。次に、テクニック分類(TC)のためのハイブリッドモデルを開発する。ハイブリッドモデルは、2つのBERTモデルと異なるトレーニング方法、特徴ベースのロジスティック回帰モデルを含む3つのサブモデルで構成されている。
論文参考訳（メタデータ） (2020-08-24T02:15:29Z)
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection [0.0]
Span Identification subtask ではバイLSTMアーキテクチャを使用し、Technical Classification subtask の複雑なアンサンブルモデルを訓練する。我々のシステムは、SIサブタスクで35チーム中8チーム、TCサブタスクで31チーム中8チームを達成する。
論文参考訳（メタデータ） (2020-08-22T15:51:16Z)
Device-Robust Acoustic Scene Classification Based on Two-Stage Categorization and Data Augmentation [63.98724740606457]
我々は,GT,USTC,Tencent,UKEの4つのグループからなる共同で,DCASE 2020 Challengeの第1タスク - 音響シーン分類(ASC)に取り組む。タスク1aは、複数の(実とシミュレートされた)デバイスで記録されたオーディオ信号のASCを10種類の微細なクラスにフォーカスする。 Task 1bは、低複雑さのソリューションを使用して、データを3つの上位クラスに分類することに関心がある。
論文参考訳（メタデータ） (2020-07-16T15:07:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。