論文の概要: TEDB System Description to a Shared Task on Euphemism Detection 2022

• arxiv url: http://arxiv.org/abs/2301.06602v1
• Date: Mon, 16 Jan 2023 20:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:23:52.605285
• Title: TEDB System Description to a Shared Task on Euphemism Detection 2022
• Title（参考訳）: Euphemism Detection 2022 における共有タスクへのTEDBシステム記述
• Authors: Peratham Wiriyathammabhum
• Abstract要約: テキスト分類の最先端手法であるトランスフォーマーモデルについて検討した。 0.816 F1スコアの最良の結果は,特徴抽出器としてのエウヘミズム検出/TimeLMs予測RoBERTaモデルである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this report, we describe our Transformers for euphemism detection baseline (TEDB) submissions to a shared task on euphemism detection 2022. We cast the task of predicting euphemism as text classification. We considered Transformer-based models which are the current state-of-the-art methods for text classification. We explored different training schemes, pretrained models, and model architectures. Our best result of 0.816 F1-score (0.818 precision and 0.814 recall) consists of a euphemism-detection-finetuned TweetEval/TimeLMs-pretrained RoBERTa model as a feature extractor frontend with a KimCNN classifier backend trained end-to-end using a cosine annealing scheduler. We observed pretrained models on sentiment analysis and offensiveness detection to correlate with more F1-score while pretraining on other tasks, such as sarcasm detection, produces less F1-scores. Also, putting more word vector channels does not improve the performance in our experiments.
• Abstract（参考訳）: 本報告では,共用課題である共振検出2022に対するtedb(transformers for euphemism detection base)の提案について述べる。 我々は,優美主義をテキスト分類として予測するタスクを課した。 テキスト分類の最先端手法であるトランスフォーマーモデルについて検討した。 さまざまなトレーニングスキーム、事前訓練モデル、モデルアーキテクチャについて検討した。 0.816 F1スコア(0.818精度と0.814リコール)の最良の結果は,コサインアニーリングスケジューラを用いて,KimCNN分類器をバックエンドとした特徴抽出器フロントエンドとして,エキシミズム検出用TweetEval/TimeLMs事前訓練RoBERTaモデルである。 感情分析と攻撃性検出の事前訓練モデルを用いて,F1スコアと相関し,サルカズム検出などの他のタスクで事前訓練を行った。 また,単語ベクトルチャネルを増設しても,実験の性能は向上しない。

関連論文リスト

• Boosting classification reliability of NLP transformer models in the long run [0.0]
  本稿では,長期にわたる分類課題に対して,BERTモデルを微調整するための異なるアプローチを比較する。 当社のコーパスには、2020年9月から2021年12月までのハンガリーでの新型コロナウイルスワクチン接種に関するコメントが800万件以上含まれています。
  論文  参考訳（メタデータ） (2023-02-20T14:46:54Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation [0.0]
  本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。 タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。 より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T07:41:28Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
  汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。 実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
  論文  参考訳（メタデータ） (2021-02-24T09:30:55Z)
• Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection [7.29381091750894]
  偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。 まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。 最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
  論文  参考訳（メタデータ） (2021-01-14T09:05:42Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses [85.04362095899656]
  本稿では、対話型感情応答を分類する半教師付きテキスト分類システムSMDA(Data Augmentation)を提案する。 ラベル付き文に対しては,ラベル分布の均一化と学習過程における教師付き損失の計算のためにデータ拡張を行った。 ラベルなし文に対しては,ラベルなし文に対する低エントロピー予測を擬似ラベルとして検討した。
  論文  参考訳（メタデータ） (2020-04-23T05:02:31Z)
• Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
  本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。 現在の最先端モデルよりもF1スコアが4.70ポイント向上した。 本稿では,変換器モデルに逆学習を適用する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T16:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。