論文の概要: Sensitive Content Classification in Social Media: A Holistic Resource and Evaluation

• arxiv url: http://arxiv.org/abs/2411.19832v1
• Date: Fri, 29 Nov 2024 16:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:44.273243
• Title: Sensitive Content Classification in Social Media: A Holistic Resource and Evaluation
• Title（参考訳）: ソーシャルメディアにおける感性コンテンツ分類 : ホロスティックな資源と評価
• Authors: Dimosthenis Antypas, Indira Sen, Carla Perez-Almendros, Jose Camacho-Collados, Francesco Barbieri,
• Abstract要約: 6つのカテゴリにまたがるソーシャルメディアコンテンツモデレーションに適した統合データセットを提案しました。 これには、矛盾する言語、暴言、性的明示的な材料、薬物関連コンテンツ、自傷行為、スパムが含まれる。 この新たなデータセットを微調整した大規模言語モデルでは,市販のモデルに比べて検出性能が大幅に向上した。
• 参考スコア（独自算出の注目度）: 15.355814393928707
• License:
• Abstract: The detection of sensitive content in large datasets is crucial for ensuring that shared and analysed data is free from harmful material. However, current moderation tools, such as external APIs, suffer from limitations in customisation, accuracy across diverse sensitive categories, and privacy concerns. Additionally, existing datasets and open-source models focus predominantly on toxic language, leaving gaps in detecting other sensitive categories such as substance abuse or self-harm. In this paper, we put forward a unified dataset tailored for social media content moderation across six sensitive categories: conflictual language, profanity, sexually explicit material, drug-related content, self-harm, and spam. By collecting and annotating data with consistent retrieval strategies and guidelines, we address the shortcomings of previous focalised research. Our analysis demonstrates that fine-tuning large language models (LLMs) on this novel dataset yields significant improvements in detection performance compared to open off-the-shelf models such as LLaMA, and even proprietary OpenAI models, which underperform by 10-15% overall. This limitation is even more pronounced on popular moderation APIs, which cannot be easily tailored to specific sensitive content categories, among others.
• Abstract（参考訳）: 大規模データセットにおけるセンシティブなコンテンツの検出は、共有および分析されたデータが有害物質から解放されることを保証するために不可欠である。 しかしながら、外部APIなどの現在のモデレーションツールは、カスタマイズの制限、さまざまな機密性のあるカテゴリの精度、プライバシー上の懸念に悩まされている。 さらに、既存のデータセットとオープンソースモデルは、主に有毒な言語に焦点を当てており、薬物乱用やセルフハームといった他のセンシティブなカテゴリを検出するのにギャップを残している。 本稿では,ソーシャルメディアコンテンツモデレーションに適した統合データセットを,コンフリクト言語,誇張性,性的明示的物質,薬物関連コンテンツ,セルフハーム,スパムの6つのカテゴリに分けて提案した。 一貫性のある検索戦略とガイドラインでデータを収集・注釈することで、従来の焦点付け研究の欠点に対処する。 解析の結果,LLaMAのようなオープン・ザ・シェルフモデルや,全体の10～15%で性能が低下するプロプライエタリなOpenAIモデルと比較して,LLMが検出性能を大幅に向上することが示された。 この制限は、特定のセンシティブなコンテンツカテゴリに簡単に対応できない、一般的なモデレーションAPIでさらに強調されている。

関連論文リスト

• The Empirical Impact of Data Sanitization on Language Models [1.1359551336076306]
  本稿では,複数のベンチマーク言語モデリングタスクにおけるデータ・サニタイズの効果を実証的に分析する。 以上の結果から,感情分析やエンテーメントなどのタスクでは,リアクションの影響は極めて低く,典型的には1～5%程度であることが示唆された。 理解的なQ&Aのようなタスクでは、オリジナルのものと比較して、再実行クエリで観測されるパフォーマンスの25%が大幅に低下している。
  論文  参考訳（メタデータ） (2024-11-08T21:22:37Z)
• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
  本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。 その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。 また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
  論文  参考訳（メタデータ） (2023-11-06T19:00:05Z)
• Towards Harmful Erotic Content Detection through Coreference-Driven Contextual Analysis [0.0]
  本稿では,エロティックコンテンツ中の有害な文脈的手がかりを特定するための,ニューラルネットワークとルールベースのコンテキスト認識システムを提案する。 ポーランド語テキストでテストした本モデルでは,84%の有望な精度と80%のリコールが得られた。
  論文  参考訳（メタデータ） (2023-10-22T15:19:04Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Unsupervised Anomaly Detection for Auditing Data and Impact of Categorical Encodings [20.37092575427039]
  自動車クレームのデータセットは、自動車修理の不正な保険請求から成り立っている。 異常検出のためのベンチマークデータセットの欠落という一般的な問題に対処する。 データセットは浅層および深層学習法に基づいて評価される。
  論文  参考訳（メタデータ） (2022-10-25T14:33:17Z)
• Is Your Model Sensitive? SPeDaC: A New Benchmark for Detecting and Classifying Sensitive Personal Data [6.116879264068727]
  近年,機密情報を扱う対話システムを含むアプリケーションの増加が急速に進んでいる。 これにより、仮想環境における個人データ保護に関する極めて重要な問題が浮き彫りになった。 我々は、機密データカテゴリを識別するための新しい注釈付きベンチマークSPeDaCを紹介する。
  論文  参考訳（メタデータ） (2022-08-12T10:57:48Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。