論文の概要: A Novel Approach to Train Diverse Types of Language Models for Health Mention Classification of Tweets

• arxiv url: http://arxiv.org/abs/2204.06337v1
• Date: Wed, 13 Apr 2022 12:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 17:14:55.785928
• Title: A Novel Approach to Train Diverse Types of Language Models for Health Mention Classification of Tweets
• Title（参考訳）: ツイートの健康参照分類のための多種多様な言語モデルを訓練するための新しいアプローチ
• Authors: Pervaiz Iqbal Khan, Imran Razzak, Andreas Dengel, Sheraz Ahmed
• Abstract要約: 本稿では, 対人訓練を含むツイートの分類について, 健康に関する言語モデルをトレーニングするための新しいアプローチを提案する。 我々は、ツイート例に対するトランスフォーマーモデルの表現に摂動を加えることで、逆例を生成する。 提案手法をPHM2017データセット拡張バージョンで評価した。
• 参考スコア（独自算出の注目度）: 7.490229412640516
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Health mention classification deals with the disease detection in a given text containing disease words. However, non-health and figurative use of disease words adds challenges to the task. Recently, adversarial training acting as a means of regularization has gained popularity in many NLP tasks. In this paper, we propose a novel approach to train language models for health mention classification of tweets that involves adversarial training. We generate adversarial examples by adding perturbation to the representations of transformer models for tweet examples at various levels using Gaussian noise. Further, we employ contrastive loss as an additional objective function. We evaluate the proposed method on the PHM2017 dataset extended version. Results show that our proposed approach improves the performance of classifier significantly over the baseline methods. Moreover, our analysis shows that adding noise at earlier layers improves models' performance whereas adding noise at intermediate layers deteriorates models' performance. Finally, adding noise towards the final layers performs better than the middle layers noise addition.
• Abstract（参考訳）: 健康に言及する分類は、病語を含む所定のテキストにおける疾患検出を扱う。 しかし、病気用語の非健康的かつ比定的な使用は、タスクに課題を加えます。 近年,多くのNLPタスクにおいて,正規化の手段としての対人訓練が普及している。 本稿では,対人訓練を含むツイートの健全な分類のための言語モデルを学習するための新しいアプローチを提案する。 ガウス雑音を用いた様々なレベルのツイート例に対して,トランスフォーマーモデルの表現に摂動を加えることで,敵対的な例を生成する。 さらに,新たな目的関数としてコントラスト損失を用いる。 提案手法をPHM2017データセット拡張バージョンで評価した。 その結果,提案手法により,ベースライン法に比べて分類器の性能が大幅に向上した。 さらに,従来の層にノイズを加えるとモデルの性能が向上する一方,中間層にノイズを加えるとモデルの性能が低下することを示す。 最後に、最終層へのノイズ付加は、中間層へのノイズ付加よりも優れている。

関連論文リスト

• Classification-Denoising Networks [6.783232060611113]
  画像分類と認知は、堅牢性の欠如や条件情報の部分的に無視という相補的な問題に悩まされる。 両タスクを(ノイズの多い)画像とクラスラベルの結合確率のモデルで統一することで緩和できると論じる。 CIFAR-10とImageNetの数値実験は、競合する分類とノイズ発生性能を示している。
  論文  参考訳（メタデータ） (2024-10-04T15:20:57Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• An Investigation of Noise in Morphological Inflection [21.411766936034]
  本研究は, パイプライン内で発生するノイズの種類を, 真の教師なし形態素パラダイムの完成のために検討する。 異なる種類のノイズが複数の最先端インフレクションモデルに与える影響を比較した。 本稿では,文字レベルのマスク付き言語モデリング(CMLM)の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:14:34Z)
• Leveraging Pretrained Representations with Task-related Keywords for Alzheimer's Disease Detection [69.53626024091076]
  アルツハイマー病(AD)は高齢者に特に顕著である。 事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。 本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-14T16:03:28Z)
• Improving the Intent Classification accuracy in Noisy Environment [9.447108578893639]
  本稿では,エンド・ツー・エンドのニューラルモデルを用いた意図分類課題に対して,環境騒音とその関連ノイズ低減手法について検討する。 この課題に対して,音声強調処理を用いることで,雑音条件下での分類精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-03-12T06:11:44Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Improving Health Mentioning Classification of Tweets using Contrastive Adversarial Training [6.586675643422952]
  周辺単語による単語表現を学習し,テキスト中の絵文字を用いて分類結果の改善を支援する。 モデルの埋め込みを摂動することで逆例を生成し、クリーンで逆例のペアでモデルを訓練する。 実験では、BERT-Largeベースラインが1.0%、RoBERTa-Largeベースラインが0.6%、F1スコアが5.8%となっている。
  論文  参考訳（メタデータ） (2022-03-03T18:20:51Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• An Aggregate Method for Thorax Diseases Classification [0.0]
  胸部疾患分類問題に対する深部ネットワークトレーニングのための重み計算アルゴリズムと,最先端の深部ネットワークアーキテクチャを用いたトレーニング最適化を組み合わせたアプローチを提案する。 ケストX線画像データセットの実験結果から,この新しい重み付け方式により分類性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-08-07T06:36:07Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。