論文の概要: syrapropa at SemEval-2020 Task 11: BERT-based Models Design For
Propagandistic Technique and Span Detection
- arxiv url: http://arxiv.org/abs/2008.10163v1
- Date: Mon, 24 Aug 2020 02:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 11:49:57.098011
- Title: syrapropa at SemEval-2020 Task 11: BERT-based Models Design For
Propagandistic Technique and Span Detection
- Title（参考訳）: SemEval-2020 Task 11:BERTに基づく確率論的手法とスパン検出のためのモデル設計
- Authors: Jinfen Li, Lu Xiao
- Abstract要約: まず,SpanBERTに基づくSpan Identification(SI)モデルを構築し,より深いモデルと文レベルの表現による検出を容易にする。
次に、テクニック分類(TC)のためのハイブリッドモデルを開発する。
ハイブリッドモデルは、2つのBERTモデルと異なるトレーニング方法、特徴ベースのロジスティック回帰モデルを含む3つのサブモデルで構成されている。
- 参考スコア（独自算出の注目度）: 2.0051855303186046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes the BERT-based models proposed for two subtasks in
SemEval-2020 Task 11: Detection of Propaganda Techniques in News Articles. We
first build the model for Span Identification (SI) based on SpanBERT, and
facilitate the detection by a deeper model and a sentence-level representation.
We then develop a hybrid model for the Technique Classification (TC). The
hybrid model is composed of three submodels including two BERT models with
different training methods, and a feature-based Logistic Regression model. We
endeavor to deal with imbalanced dataset by adjusting cost function. We are in
the seventh place in SI subtask (0.4711 of F1-measure), and in the third place
in TC subtask (0.6783 of F1-measure) on the development set.
- Abstract（参考訳）: 本稿では,SemEval-2020 Task 11における2つのサブタスクを対象としたBERTモデルについて述べる。
まず,SpanBERTに基づくSpan Identification(SI)モデルを構築し,より深いモデルと文レベルの表現による検出を容易にする。
そこで我々は,技術分類(TC)のハイブリッドモデルを開発した。
ハイブリッドモデルは、2つのBERTモデルと異なるトレーニング方法、特徴ベースのロジスティック回帰モデルを含む3つのサブモデルで構成されている。
コスト関数を調整することで、不均衡なデータセットに対処する努力をします。
第7位はSIサブタスク(F1測定の0.4711)、第3位は開発セットのTCサブタスク(F1測定の0.6783)です。
関連論文リスト
- An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - Predicting Issue Types with seBERT [85.74803351913695]
seBERT は BERT アーキテクチャに基づいて開発されたモデルであるが、ゼロからソフトウェア工学のデータで訓練された。
問題型予測の課題に対して,NLBSEの課題に対して,このモデルを微調整した。
我々のモデルは、リコールとプリシシオの3つのイシュータイプすべてに対して、F1スコア全体の85.7%を達成するためのベースラインであるfastTextを支配している。
論文 参考訳（メタデータ） (2022-05-03T06:47:13Z) - RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。
我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文 参考訳（メタデータ） (2022-04-28T08:49:40Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to
Identify Toxic, Engaging, & Fact-Claiming Comments [0.0]
我々はGermEval 2021への提出に使用した手法について述べる。
3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。
トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
論文 参考訳（メタデータ） (2021-09-07T09:46:27Z) - Deploying a BERT-based Query-Title Relevance Classifier in a Production
System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。
BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。
BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。
BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文 参考訳（メタデータ） (2021-08-23T14:28:23Z) - YNU-HPCC at SemEval-2020 Task 11: LSTM Network for Detection of
Propaganda Techniques in News Articles [5.352512345142247]
本稿では,SemEval-2020タスク11におけるニュース記事のプロパガンダ検出手法について概説する。
本稿では,GloVe単語表現,BERT事前学習モデル,LSTMモデルアーキテクチャを実装した。
本手法は, テストセットにおいて, SIおよびTCサブタスクのランクが17位, 22位, それぞれ有意に向上した。
論文 参考訳（メタデータ） (2020-08-24T02:42:12Z) - aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF,
and Transfer Learning [22.90521056447551]
本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。
我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
論文 参考訳（メタデータ） (2020-08-06T18:45:25Z) - Device-Robust Acoustic Scene Classification Based on Two-Stage
Categorization and Data Augmentation [63.98724740606457]
我々は,GT,USTC,Tencent,UKEの4つのグループからなる共同で,DCASE 2020 Challengeの第1タスク - 音響シーン分類(ASC)に取り組む。
タスク1aは、複数の(実とシミュレートされた)デバイスで記録されたオーディオ信号のASCを10種類の微細なクラスにフォーカスする。
Task 1bは、低複雑さのソリューションを使用して、データを3つの上位クラスに分類することに関心がある。
論文 参考訳（メタデータ） (2020-07-16T15:07:14Z) - Yseop at SemEval-2020 Task 5: Cascaded BERT Language Model for
Counterfactual Statement Analysis [0.0]
我々は、分類タスクにBERTベースモデルを使用し、シーケンス識別タスクを処理するために、ハイブリッドBERTマルチ層パーセプトロンシステムを構築した。
本実験により, 構文的・意味的特徴の導入は, 分類タスクにおけるシステム改善にはほとんど寄与しないが, それらの特徴を線形入力として用いて, モデルのシーケンス決定能力を微調整することにより, 2次タスクにおいてBiLSTM-CRFのような他の類似の複雑なシステムよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-18T08:19:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。