論文の概要: Improving Health Mentioning Classification of Tweets using Contrastive
Adversarial Training
- arxiv url: http://arxiv.org/abs/2203.01895v1
- Date: Thu, 3 Mar 2022 18:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 17:58:02.639034
- Title: Improving Health Mentioning Classification of Tweets using Contrastive
Adversarial Training
- Title(参考訳): コントラスト対応訓練によるツイートのヘルスメンション分類の改善
- Authors: Pervaiz Iqbal Khan, Shoaib Ahmed Siddiqui, Imran Razzak, Andreas
Dengel, and Sheraz Ahmed
- Abstract要約: 周辺単語による単語表現を学習し,テキスト中の絵文字を用いて分類結果の改善を支援する。
モデルの埋め込みを摂動することで逆例を生成し、クリーンで逆例のペアでモデルを訓練する。
実験では、BERT-Largeベースラインが1.0%、RoBERTa-Largeベースラインが0.6%、F1スコアが5.8%となっている。
- 参考スコア(独自算出の注目度): 6.586675643422952
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Health mentioning classification (HMC) classifies an input text as health
mention or not. Figurative and non-health mention of disease words makes the
classification task challenging. Learning the context of the input text is the
key to this problem. The idea is to learn word representation by its
surrounding words and utilize emojis in the text to help improve the
classification results. In this paper, we improve the word representation of
the input text using adversarial training that acts as a regularizer during
fine-tuning of the model. We generate adversarial examples by perturbing the
embeddings of the model and then train the model on a pair of clean and
adversarial examples. Additionally, we utilize contrastive loss that pushes a
pair of clean and perturbed examples close to each other and other examples
away in the representation space. We train and evaluate the method on an
extended version of the publicly available PHM2017 dataset. Experiments show an
improvement of 1.0% over BERT-Large baseline and 0.6% over RoBERTa-Large
baseline, whereas 5.8% over the state-of-the-art in terms of F1 score.
Furthermore, we provide a brief analysis of the results by utilizing the power
of explainable AI.
- Abstract(参考訳): health mentioning classification (hmc) は、入力テキストをhealth mention or notと分類する。
病語への比定的かつ非健康的な言及は分類課題を困難にする。
入力テキストのコンテキストを学ぶことが、この問題の鍵となる。
そのアイデアは、周囲の単語で単語の表現を学習し、テキスト中の絵文字を使って分類結果を改善することにある。
本稿では,モデルの微調整時にレギュラライザとして機能する逆訓練を用いて,入力テキストの単語表現を改善する。
モデルの埋め込みを摂動し、クリーンな例と反対の例のペアでモデルをトレーニングすることで、逆の例を生成します。
さらに,一対の清潔かつ摂動的な例を互いに接近させ,他の例を表現空間から遠ざけるコントラスト的損失を利用する。
我々は、PHM2017データセットの拡張バージョン上で、この手法を訓練し、評価する。
実験では、BERT-Largeベースラインが1.0%、RoBERTa-Largeベースラインが0.6%、F1スコアが5.8%となっている。
さらに,説明可能なaiのパワーを利用して,結果を簡潔に分析する。
関連論文リスト
- BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using
Genre Classification [0.27195102129095]
トピックの分布が変化すると、分類タスクは依然としてパフォーマンスのギャップに悩まされる。
我々はこの現象を、大きなコーパスと大きなトピックセットで実証的に定量化する。
学習データセットを局所的に制御された合成テキストで強化した後、いくつかのトピックでF1スコアは最大50%改善する。
論文 参考訳(メタデータ) (2023-11-27T18:53:31Z) - EmoCLIP: A Vision-Language Method for Zero-Shot Video Facial Expression
Recognition [12.299438189585366]
本稿では,サンプルレベルのテキスト記述を自然言語の監視に用いる新しい視覚言語モデルを提案する。
以上の結果から,本手法はベースライン法と比較して大きな改善をもたらすことが示唆された。
本研究では,メンタルヘルス症状推定の下流課題について,サンプルレベル記述を用いてトレーニングしたネットワークから得られた表現を評価した。
論文 参考訳(メタデータ) (2023-10-25T13:43:36Z) - Fine-Grained Human Feedback Gives Better Rewards for Language Model
Training [108.25635150124539]
言語モデル(LM)は、しばしば偽、有毒、無関係な出力を生成するなど、望ましくないテキスト生成の振る舞いを示す。
本研究では,2つの点において微細な報酬関数から学習と学習を可能にするフレームワークであるFine-Grained RLHFを紹介する。
論文 参考訳(メタデータ) (2023-06-02T17:11:37Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation [72.02386627482056]
本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-01-26T13:58:46Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-14T09:10:49Z) - A Novel Approach to Train Diverse Types of Language Models for Health
Mention Classification of Tweets [7.490229412640516]
本稿では, 対人訓練を含むツイートの分類について, 健康に関する言語モデルをトレーニングするための新しいアプローチを提案する。
我々は、ツイート例に対するトランスフォーマーモデルの表現に摂動を加えることで、逆例を生成する。
提案手法をPHM2017データセット拡張バージョンで評価した。
論文 参考訳(メタデータ) (2022-04-13T12:38:15Z) - Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences
for Image-Text Retrieval [19.161248757493386]
本稿では, 否定文として自動的に合成文を生成するために, 識別・訂正による否定文をTAGS-DC(TAiloring Negative Sentences with Discrimination and Correction)を提案する。
トレーニング中の難易度を維持するため,パラメータ共有による検索と生成を相互に改善する。
実験では,MS-COCOおよびFlickr30Kにおけるモデルの有効性を,現在の最先端モデルと比較して検証した。
論文 参考訳(メタデータ) (2021-11-05T09:36:41Z) - Perturbing Inputs for Fragile Interpretations in Deep Natural Language
Processing [18.91129968022831]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。
本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳(メタデータ) (2021-08-11T02:07:21Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z) - Visually Grounded Compound PCFGs [65.04669567781634]
言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。
本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
論文 参考訳(メタデータ) (2020-09-25T19:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。