論文の概要: RAFT: Rationale adaptor for few-shot abusive language detection
- arxiv url: http://arxiv.org/abs/2211.17046v1
- Date: Wed, 30 Nov 2022 14:47:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 17:23:43.453177
- Title: RAFT: Rationale adaptor for few-shot abusive language detection
- Title（参考訳）: raft: 限定的な乱用言語検出のための合理化アダプタ
- Authors: Punyajoy Saha, Divyanshu Sheth, Kushal Kedia, Binny Mathew, Animesh
Mukherjee
- Abstract要約: 乱用言語検出のためのRAFT(Rationale Adaptor for Few-shoT Classification)を提案する。
まず、合理性、目標、ラベルを共同で学習するためのマルチタスク学習環境を構築します。
5つの異なる乱用言語データセットからシステムを評価する。
- 参考スコア（独自算出の注目度）: 5.977278650516324
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Abusive language is a concerning problem in online social media. Past
research on detecting abusive language covers different platforms, languages,
demographies, etc. However, models trained using these datasets do not perform
well in cross-domain evaluation settings. To overcome this, a common strategy
is to use a few samples from the target domain to train models to get better
performance in that domain (cross-domain few-shot training). However, this
might cause the models to overfit the artefacts of those samples. A compelling
solution could be to guide the models toward rationales, i.e., spans of text
that justify the text's label. This method has been found to improve model
performance in the in-domain setting across various NLP tasks. In this paper,
we propose RAFT (Rationale Adaptor for Few-shoT classification) for abusive
language detection. We first build a multitask learning setup to jointly learn
rationales, targets, and labels, and find a significant improvement of 6% macro
F1 on the rationale detection task over training solely rationale classifiers.
We introduce two rationale-integrated BERT-based architectures (the RAFT
models) and evaluate our systems over five different abusive language datasets,
finding that in the few-shot classification setting, RAFT-based models
outperform baseline models by about 7% in macro F1 scores and perform
competitively to models finetuned on other source domains. Furthermore,
RAFT-based models outperform LIME/SHAP-based approaches in terms of
plausibility and are close in performance in terms of faithfulness.
- Abstract（参考訳）: 乱用言語は、オンラインソーシャルメディアにおける問題である。
乱用言語の検出に関する過去の研究は、様々なプラットフォーム、言語、写真などをカバーする。
しかし、これらのデータセットを使ってトレーニングされたモデルは、ドメイン間の評価設定ではうまく機能しない。
これを克服するための一般的な戦略は、ターゲットドメインからいくつかのサンプルを使用してモデルをトレーニングし、そのドメインのパフォーマンスを改善することだ(クロスドメインの少数ショットトレーニング)。
しかし、これはモデルがそれらのサンプルのアーティファクトを過剰に適合させる可能性がある。
魅力的な解決策は、モデルの合理的性、すなわちテキストのラベルを正当化するテキストを導くことである。
この手法は様々なNLPタスクのドメイン内設定におけるモデル性能を改善する。
本稿では、乱用言語検出のためのRAFT(Rationale Adaptor for Few-shoT Classification)を提案する。
まず,合理性,目標,ラベルを共同で学習するマルチタスク学習セットアップを構築し,合理性検出タスクにおける6%マクロf1の有意な改善を見出した。
2つの有理積分BERTベースのアーキテクチャ(RAFTモデル)を導入し、5つの異なる乱用言語データセットに対してシステム評価を行い、RAFTベースのモデルでは、マクロF1スコアの約7%をベースラインモデルで上回り、他のソースドメインで微調整されたモデルと競合する結果を得た。
さらに、RAFTベースのモデルは、信頼性の観点からLIME/SHAPベースのアプローチよりも優れており、忠実性の観点からは性能が近い。
関連論文リスト
- Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。
我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。
システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
論文 参考訳（メタデータ） (2024-05-17T04:05:05Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳（メタデータ） (2023-03-31T03:17:23Z) - QAGAN: Adversarial Approach To Learning Domain Invariant Language
Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。
EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文 参考訳（メタデータ） (2022-06-24T17:42:18Z) - CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain [22.846469609263416]
事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。
本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。
本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
論文 参考訳（メタデータ） (2021-12-16T10:07:39Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳（メタデータ） (2021-10-04T08:51:36Z) - X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented
Compositional Semantic Parsing [51.81533991497547]
タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。
本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。
本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
論文 参考訳（メタデータ） (2021-06-07T16:40:05Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。