論文の概要: Deep Prompt Multi-task Network for Abuse Language Detection
- arxiv url: http://arxiv.org/abs/2403.05268v1
- Date: Fri, 8 Mar 2024 12:45:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:00:09.183384
- Title: Deep Prompt Multi-task Network for Abuse Language Detection
- Title(参考訳): 乱用言語検出のためのディーププロンプトマルチタスクネットワーク
- Authors: Jian Zhu, Yuping Ruan, Jingfei Chang, and Cheng Luo
- Abstract要約: 既存の検出手法は、学習済み言語モデル(PLM)の微調整技術を用いて下流タスクを処理していると論じる。
本稿では,乱用言語検出のための新しいDeep Prompt Multi-task Network (DPMN)を提案する。
提案したDPMNは3つの公開データセット上の8つの典型的な手法に対して評価される。
- 参考スコア(独自算出の注目度): 7.239189153771782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The detection of abusive language remains a long-standing challenge with the
extensive use of social networks. The detection task of abusive language
suffers from limited accuracy. We argue that the existing detection methods
utilize the fine-tuning technique of the pre-trained language models (PLMs) to
handle downstream tasks. Hence, these methods fail to stimulate the general
knowledge of the PLMs. To address the problem, we propose a novel Deep Prompt
Multi-task Network (DPMN) for abuse language detection. Specifically, DPMN
first attempts to design two forms of deep prompt tuning and light prompt
tuning for the PLMs. The effects of different prompt lengths, tuning
strategies, and prompt initialization methods on detecting abusive language are
studied. In addition, we propose a Task Head based on Bi-LSTM and FFN, which
can be used as a short text classifier. Eventually, DPMN utilizes multi-task
learning to improve detection metrics further. The multi-task network has the
function of transferring effective knowledge. The proposed DPMN is evaluated
against eight typical methods on three public datasets: OLID, SOLID, and
AbuseAnalyzer. The experimental results show that our DPMN outperforms the
state-of-the-art methods.
- Abstract(参考訳): 乱暴な言葉の検出は、ソーシャルネットワークの広範囲な利用に対する長年の課題である。
乱用言語の検出タスクは、限られた精度に悩まされている。
既存の検出手法では,学習済み言語モデル (plms) の微調整技術を用いて下流タスクを処理している。
したがって、これらの手法はplmの一般的な知識を刺激しない。
そこで本研究では,乱用言語検出のためのDPMN(Deep Prompt Multi-task Network)を提案する。
具体的には、dpmnはまず、plmの2種類の深いプロンプトチューニングと光プロンプトチューニングを設計しようとした。
異なるプロンプト長,チューニング戦略,およびプロンプト初期化手法が乱用言語の検出に与える影響について検討した。
さらに,Bi-LSTMとFFNに基づくタスクヘッドを提案する。
最終的に、DPMNはマルチタスク学習を使用して、検出メトリクスをさらに改善する。
マルチタスクネットワークは、効果的な知識を伝達する機能を有する。
提案するdpmnは3つの公開データセット(olid, solid, abuseanalyzer)における8つの典型的な手法に対して評価される。
実験の結果,DPMNは最先端手法よりも優れていた。
関連論文リスト
- AppPoet: Large Language Model based Android malware detection via multi-view prompt engineering [1.3197408989895103]
AppPoetは、Androidマルウェア検出のためのマルチビューシステムである。
検出精度は97.15%,F1スコアは97.21%である。
論文 参考訳(メタデータ) (2024-04-29T15:52:45Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - How Reliable Are AI-Generated-Text Detectors? An Assessment Framework
Using Evasive Soft Prompts [14.175243473740727]
本研究では,PLMに高い性能の検出器を回避できるテキストを生成する新しい手法を提案する。
提案手法は、新しいタイプのソフトプロンプトである普遍的回避プロンプトを示唆しており、このプロンプトは、検知器を誤解させる「人間のような」テキストを生成するのにPLMを導く。
我々は,最先端検出器の回避における回避ソフトプロンプトの有効性を評価するために,広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-10-08T09:53:46Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳(メタデータ) (2023-03-26T21:12:36Z) - Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
本研究は, 慣用性検出の効率的な手法を探索する。
特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。
実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
論文 参考訳(メタデータ) (2022-05-23T13:46:35Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-04-01T02:24:24Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳(メタデータ) (2021-12-16T06:17:07Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - MPLP: Learning a Message Passing Learning Protocol [63.948465205530916]
人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。
ANNで発生したすべての操作を独立したエージェントとして抽象化する。
各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
論文 参考訳(メタデータ) (2020-07-02T09:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。