論文の概要: OffLanDat: A Community Based Implicit Offensive Language Dataset
Generated by Large Language Model Through Prompt Engineering
- arxiv url: http://arxiv.org/abs/2403.02472v1
- Date: Mon, 4 Mar 2024 20:34:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 16:57:28.909147
- Title: OffLanDat: A Community Based Implicit Offensive Language Dataset
Generated by Large Language Model Through Prompt Engineering
- Title（参考訳）: OffLanDat: プロンプトエンジニアリングによる大規模言語モデルによるコミュニティベースの攻撃的言語データセット
- Authors: Amit Das, Mostafa Rahgouy, Dongji Feng, Zheng Zhang, Tathagata
Bhattacharya, Nilanjana Raychawdhary, Mary Sandage, Lauramarie Pope, Gerry
Dozier and Cheryl Seals
- Abstract要約: OffLanDatはコミュニティベースの暗黙的な攻撃的な言語データセットである。
本稿では、暗黙の攻撃的言語を効果的に生成するプロンプトベースのアプローチを提案する。
他の研究者のために、コードとデータセットを公開します。
- 参考スコア（独自算出の注目度）: 5.807138085696043
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread presence of offensive languages on social media has resulted
in adverse effects on societal well-being. As a result, it has become very
important to address this issue with high priority. Offensive languages exist
in both explicit and implicit forms, with the latter being more challenging to
detect. Current research in this domain encounters several challenges. Firstly,
the existing datasets primarily rely on the collection of texts containing
explicit offensive keywords, making it challenging to capture implicitly
offensive contents that are devoid of these keywords. Secondly, usual
methodologies tend to focus solely on textual analysis, neglecting the valuable
insights that community information can provide. In this research paper, we
introduce a novel dataset OffLanDat, a community based implicit offensive
language dataset generated by ChatGPT containing data for 38 different target
groups. Despite limitations in generating offensive texts using ChatGPT due to
ethical constraints, we present a prompt-based approach that effectively
generates implicit offensive languages. To ensure data quality, we evaluate our
data with human. Additionally, we employ a prompt-based Zero-Shot method with
ChatGPT and compare the detection results between human annotation and ChatGPT
annotation. We utilize existing state-of-the-art models to see how effective
they are in detecting such languages. We will make our code and dataset public
for other researchers.
- Abstract（参考訳）: ソーシャルメディアにおける攻撃的言語の存在は、社会的幸福に悪影響を及ぼしている。
その結果、この問題に高い優先度で対処することが非常に重要になった。
攻撃的な言語は明示的な形式と暗黙的な形式の両方に存在し、後者はより検出が難しい。
現在のこの分野の研究はいくつかの課題に直面している。
第一に、既存のデータセットは主に明示的な攻撃的キーワードを含むテキストの集合に依存しているため、これらのキーワードを欠いた暗黙的に攻撃的なコンテンツをキャプチャすることが困難である。
第二に、通常の方法論は、コミュニティ情報が提供できる貴重な洞察を無視して、テキスト分析のみに焦点を当てる傾向がある。
本稿では,38の異なる対象グループを対象としたデータを含むchatgptによって生成された,コミュニティベースの暗黙的攻撃言語データセットであるofflandatを提案する。
倫理上の制約により chatgpt を用いた攻撃的テキストの生成が制限されているにもかかわらず,暗黙的攻撃的言語を効果的に生成するプロンプトベースアプローチを提案する。
データ品質を確保するために、我々はデータを人間で評価する。
さらに,ChatGPTを用いたプロンプトベースのZero-Shot法を用いて,人間のアノテーションとChatGPTアノテーションの検知結果を比較する。
既存の最先端モデルを用いて、そのような言語を検出するのがいかに効果的かを確認する。
他の研究者のためにコードとデータセットを公開します。
関連論文リスト
- Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。
その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。
また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
論文 参考訳（メタデータ） (2023-11-06T19:00:05Z) - Towards a Robust Detection of Language Model Generated Text: Is ChatGPT
that Easy to Detect? [0.0]
本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。
提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。
その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
論文 参考訳（メタデータ） (2023-06-09T13:03:53Z) - CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts [10.034193809833372]
悪意のあるユーザーはChatGPTを通じてダミーな学術コンテンツを合成できる。
本稿では,検出アルゴリズムの開発を支援するために,大規模なCHatGPT-writtEn AbsTractデータセット(CHEAT)を提案する。
論文 参考訳（メタデータ） (2023-04-24T11:19:33Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。
AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。
数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
論文 参考訳（メタデータ） (2023-02-25T06:58:16Z) - APEACH: Attacking Pejorative Expressions with Analysis on
Crowd-Generated Hate Speech Evaluation Datasets [4.034948808542701]
APEACHは、特定されていないユーザによって生成されるヘイトスピーチの収集を可能にする方法である。
ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,ヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
論文 参考訳（メタデータ） (2022-02-25T02:04:38Z) - A New Generation of Perspective API: Efficient Multilingual
Character-level Transformers [66.9176610388952]
Google JigsawのAspective APIの次期バージョンの基礎を提示する。
このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。
静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
論文 参考訳（メタデータ） (2022-02-22T20:55:31Z) - COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。
また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。
我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
論文 参考訳（メタデータ） (2022-01-16T11:47:23Z) - TextHide: Tackling Data Privacy in Language Understanding Tasks [54.11691303032022]
TextHideは、トレーニングを遅くしたり、精度を下げることなく、プライバシー上のリスクを軽減する。
すべての参加者は、盗聴攻撃者がプライベートテキストデータを復元するのを防ぐために、簡単な暗号化ステップを追加する必要がある。
我々は、GLUEベンチマーク上でTextHideを評価し、TextHideが共有勾配や表現に対する攻撃を効果的に防御できることを示す。
論文 参考訳（メタデータ） (2020-10-12T22:22:15Z) - Offensive Language Identification in Greek [17.38318315623124]
本稿では,攻撃的言語識別のためのギリシャ初の注釈付きデータセットであるOGTDについて述べる。
OGTDは、Twitterから4,779件の投稿が攻撃的であり、攻撃的ではないという手動の注釈付きデータセットである。
データセットの詳細な説明とともに、このデータに基づいてトレーニングおよびテストされたいくつかの計算モデルを評価する。
論文 参考訳（メタデータ） (2020-03-16T22:47:27Z) - Offensive Language Detection: A Comparative Analysis [2.5739449801033842]
本稿では,Google文エンコーダ,Fasttext,動的モード分解(DMD)に基づく機能とRandom kitchen sink(RKS)法による攻撃言語検出の有効性について検討する。
実験と評価の結果,Fastetxt を用いた RKS が競合する結果を得た。
論文 参考訳（メタデータ） (2020-01-09T17:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。