論文の概要: Improving Health Mentioning Classification of Tweets using Contrastive
Adversarial Training
- arxiv url: http://arxiv.org/abs/2203.01895v1
- Date: Thu, 3 Mar 2022 18:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 17:58:02.639034
- Title: Improving Health Mentioning Classification of Tweets using Contrastive
Adversarial Training
- Title（参考訳）: コントラスト対応訓練によるツイートのヘルスメンション分類の改善
- Authors: Pervaiz Iqbal Khan, Shoaib Ahmed Siddiqui, Imran Razzak, Andreas
Dengel, and Sheraz Ahmed
- Abstract要約: 周辺単語による単語表現を学習し,テキスト中の絵文字を用いて分類結果の改善を支援する。
モデルの埋め込みを摂動することで逆例を生成し、クリーンで逆例のペアでモデルを訓練する。
実験では、BERT-Largeベースラインが1.0%、RoBERTa-Largeベースラインが0.6%、F1スコアが5.8%となっている。
- 参考スコア（独自算出の注目度）: 6.586675643422952
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Health mentioning classification (HMC) classifies an input text as health
mention or not. Figurative and non-health mention of disease words makes the
classification task challenging. Learning the context of the input text is the
key to this problem. The idea is to learn word representation by its
surrounding words and utilize emojis in the text to help improve the
classification results. In this paper, we improve the word representation of
the input text using adversarial training that acts as a regularizer during
fine-tuning of the model. We generate adversarial examples by perturbing the
embeddings of the model and then train the model on a pair of clean and
adversarial examples. Additionally, we utilize contrastive loss that pushes a
pair of clean and perturbed examples close to each other and other examples
away in the representation space. We train and evaluate the method on an
extended version of the publicly available PHM2017 dataset. Experiments show an
improvement of 1.0% over BERT-Large baseline and 0.6% over RoBERTa-Large
baseline, whereas 5.8% over the state-of-the-art in terms of F1 score.
Furthermore, we provide a brief analysis of the results by utilizing the power
of explainable AI.
- Abstract（参考訳）: health mentioning classification (hmc) は、入力テキストをhealth mention or notと分類する。
病語への比定的かつ非健康的な言及は分類課題を困難にする。
入力テキストのコンテキストを学ぶことが、この問題の鍵となる。
そのアイデアは、周囲の単語で単語の表現を学習し、テキスト中の絵文字を使って分類結果を改善することにある。
本稿では,モデルの微調整時にレギュラライザとして機能する逆訓練を用いて,入力テキストの単語表現を改善する。
モデルの埋め込みを摂動し、クリーンな例と反対の例のペアでモデルをトレーニングすることで、逆の例を生成します。
さらに,一対の清潔かつ摂動的な例を互いに接近させ,他の例を表現空間から遠ざけるコントラスト的損失を利用する。
我々は、PHM2017データセットの拡張バージョン上で、この手法を訓練し、評価する。
実験では、BERT-Largeベースラインが1.0%、RoBERTa-Largeベースラインが0.6%、F1スコアが5.8%となっている。
さらに,説明可能なaiのパワーを利用して,結果を簡潔に分析する。
関連論文リスト
- Contrastive Multi-graph Learning with Neighbor Hierarchical Sifting for Semi-supervised Text Classification [16.75801747622402]
半教師付きテキスト分類のための隣接階層シフティングを用いたコントラッシブ・マルチグラフ学習法を提案する。
具体的には、コア機能を利用してマルチリレーショナルテキストグラフを作成し、テキスト間のセマンティックな接続を強化する。
ThuCNews、SogouNews、20のニュースグループ、およびOhsumedデータセットに関する我々の実験は95.86%、97.52%、87.43%、70.65%を達成し、半教師付きテキスト分類の競争結果を示している。
論文 参考訳（メタデータ） (2024-11-25T08:35:55Z) - BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using
Genre Classification [0.27195102129095]
トピックの分布が変化すると、分類タスクは依然としてパフォーマンスのギャップに悩まされる。
我々はこの現象を、大きなコーパスと大きなトピックセットで実証的に定量化する。
学習データセットを局所的に制御された合成テキストで強化した後、いくつかのトピックでF1スコアは最大50%改善する。
論文 参考訳（メタデータ） (2023-11-27T18:53:31Z) - Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。
本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
論文 参考訳（メタデータ） (2023-06-03T21:39:07Z) - Fine-Grained Human Feedback Gives Better Rewards for Language Model
Training [108.25635150124539]
言語モデル(LM)は、しばしば偽、有毒、無関係な出力を生成するなど、望ましくないテキスト生成の振る舞いを示す。
本研究では,2つの点において微細な報酬関数から学習と学習を可能にするフレームワークであるFine-Grained RLHFを紹介する。
論文 参考訳（メタデータ） (2023-06-02T17:11:37Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z) - A Novel Approach to Train Diverse Types of Language Models for Health
Mention Classification of Tweets [7.490229412640516]
本稿では, 対人訓練を含むツイートの分類について, 健康に関する言語モデルをトレーニングするための新しいアプローチを提案する。
我々は、ツイート例に対するトランスフォーマーモデルの表現に摂動を加えることで、逆例を生成する。
提案手法をPHM2017データセット拡張バージョンで評価した。
論文 参考訳（メタデータ） (2022-04-13T12:38:15Z) - Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences
for Image-Text Retrieval [19.161248757493386]
本稿では, 否定文として自動的に合成文を生成するために, 識別・訂正による否定文をTAGS-DC(TAiloring Negative Sentences with Discrimination and Correction)を提案する。
トレーニング中の難易度を維持するため,パラメータ共有による検索と生成を相互に改善する。
実験では,MS-COCOおよびFlickr30Kにおけるモデルの有効性を,現在の最先端モデルと比較して検証した。
論文 参考訳（メタデータ） (2021-11-05T09:36:41Z) - Perturbing Inputs for Fragile Interpretations in Deep Natural Language
Processing [18.91129968022831]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。
本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (2021-08-11T02:07:21Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Visually Grounded Compound PCFGs [65.04669567781634]
言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。
本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
論文 参考訳（メタデータ） (2020-09-25T19:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。