論文の概要: NoisyHate: Mining Online Human-Written Perturbations for Realistic Robustness Benchmarking of Content Moderation Models

• arxiv url: http://arxiv.org/abs/2303.10430v2
• Date: Mon, 28 Apr 2025 15:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.472478
• Title: NoisyHate: Mining Online Human-Written Perturbations for Realistic Robustness Benchmarking of Content Moderation Models
• Title（参考訳）: NoisyHate: コンテンツモデレーションモデルの現実的ロバストネスベンチマークのためのオンライン人文摂動のマイニング
• Authors: Yiran Ye, Thai Le, Dongwon Lee,
• Abstract要約: そこで我々は,NoisyHateという名前の人書き摂動の,新しい高品質なデータセットを紹介した。 我々は,NoisyHateの摂動が,従来のアルゴリズムによる有毒なデータセットと異なる特徴を持つことを示した。
• 参考スコア（独自算出の注目度）: 13.887401380190335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online texts with toxic content are a clear threat to the users on social media in particular and society in general. Although many platforms have adopted various measures (e.g., machine learning-based hate-speech detection systems) to diminish their effect, toxic content writers have also attempted to evade such measures by using cleverly modified toxic words, so-called human-written text perturbations. Therefore, to help build automatic detection tools to recognize those perturbations, prior methods have developed sophisticated techniques to generate diverse adversarial samples. However, we note that these ``algorithms"-generated perturbations do not necessarily capture all the traits of ``human"-written perturbations. Therefore, in this paper, we introduce a novel, high-quality dataset of human-written perturbations, named as NoisyHate, that was created from real-life perturbations that are both written and verified by human-in-the-loop. We show that perturbations in NoisyHate have different characteristics than prior algorithm-generated toxic datasets show, and thus can be in particular useful to help develop better toxic speech detection solutions. We thoroughly validate NoisyHate against state-of-the-art language models, such as BERT and RoBERTa, and black box APIs, such as Perspective API, on two tasks, such as perturbation normalization and understanding.
• Abstract（参考訳）: 有害なコンテンツを持つオンラインテキストは、特にソーシャルメディアや社会におけるユーザーにとって明らかな脅威である。 多くのプラットフォームは、その効果を弱めるために様々な手段(例えば、機械学習ベースのヘイト音声検出システム)を採用してきたが、有毒なコンテンツ作者は、巧妙に修飾された有毒な単語、いわゆる人文文摂動を用いて、そのような措置を回避しようと試みてきた。 そのため、これらの摂動を認識するための自動検出ツールの構築を支援するため、従来の手法では多様な対向サンプルを生成するための高度な技術が開発されている。 しかし、これらの「algorithms」が生成した摂動は、必ずしも「 human」で書かれた摂動の全ての特徴を捉えていないことに留意する。 そこで本研究では,人間による実生活の摂動から生成した,人文摂動の新しい高品質データセットであるNoisyHateについて紹介する。 本研究では,NoisyHateにおける摂動が,従来のアルゴリズムによる有毒なデータセットと異なる特徴を持つことを示し,特に有毒な音声検出ソリューションの開発に有用であることを示す。 本研究では,BERTやRoBERTaなどの最先端言語モデルや,パースペクティブAPIなどのブラックボックスAPIに対して,摂動正規化や理解などの2つのタスクに対して,NoisyHateを徹底的に検証する。

関連論文リスト

• A Knowledge-guided Adversarial Defense for Resisting Malicious Visual Manipulation [93.28532038721816]
  視覚的操作の悪意ある応用は、多くの分野でユーザーのセキュリティと評判に深刻な脅威をもたらしている。 本稿では,悪質な操作モデルを積極的に強制し,意味論的に混乱したサンプルを出力するために,知識誘導型敵防衛(KGAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:18:13Z)
• Evolving Hate Speech Online: An Adaptive Framework for Detection and Mitigation [18.459726677931023]
  本稿では,単語埋め込みを用いて語彙を更新し,新たなスラリーや新しい言語パターンに適応するハイブリッドモデルを開発する適応的手法を提案する。 我々のハイブリッドモデルは、BERTとレキシコンベースの技術を組み合わせて、ほとんどの最先端データセットに対して95%の精度を達成する。
  論文  参考訳（メタデータ） (2025-02-15T22:46:50Z)
• Toxicity Detection towards Adaptability to Changing Perturbations [21.989281174371147]
  本稿では,新しい問題,すなわち連続学習型ジェイルブレイク摂動パターンを毒性検出分野に導入する。 まず,9種類の摂動パターンによって生成された新しいデータセットを構築し,その内7つは先行作業から要約し,そのうち2つは私たちによって開発された。 次に、この新しい摂動パターン認識データセットにおける現在の手法の脆弱性を体系的に検証する。
  論文  参考訳（メタデータ） (2024-12-17T05:04:57Z)
• ToxiCloakCN: Evaluating Robustness of Offensive Language Detection in Chinese with Cloaking Perturbations [6.360597788845826]
  本研究では,現在最先端の大規模言語モデル (LLM) の体系的摂動データにおける攻撃的内容の同定における限界について検討する。 我々の研究は、検出メカニズムを回避するために使用される進化的戦術に対抗するために、攻撃言語検出におけるより高度な技術が緊急に必要であることを強調している。
  論文  参考訳（メタデータ） (2024-06-18T02:44:56Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
  そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。 我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。 実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
  論文  参考訳（メタデータ） (2024-04-02T12:49:22Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
  そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
  論文  参考訳（メタデータ） (2023-11-08T21:13:05Z)
• Fine-Tuning Llama 2 Large Language Models for Detecting Online Sexual Predatory Chats and Abusive Texts [2.406214748890827]
  本稿では,Llama 2 7B-パラメーターモデルを用いて,オンライン性的捕食チャットと虐待言語の検出手法を提案する。 我々は、異なる大きさ、不均衡度、言語(英語、ローマ・ウルドゥー語、ウルドゥー語)のデータセットを用いてLLMを微調整する。 実験結果から,提案手法は3つの異なるデータセットに対して精度よく一貫した性能を示す。
  論文  参考訳（メタデータ） (2023-08-28T16:18:50Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• MISMATCH: Fine-grained Evaluation of Machine-generated Text with Mismatch Error Types [68.76742370525234]
  テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。 細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。 7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
  論文  参考訳（メタデータ） (2023-06-18T01:38:53Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Countering Malicious Content Moderation Evasion in Online Social Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
  ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。 本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
  論文  参考訳（メタデータ） (2022-12-27T16:08:49Z)
• Combating high variance in Data-Scarce Implicit Hate Speech Classification [0.0]
  我々は,最先端の性能を実現する新しいRoBERTaモデルを開発した。 本稿では,様々な最適化手法と正規化手法を探求し,最先端性能を実現するRoBERTaベースの新しいモデルを開発する。
  論文  参考訳（メタデータ） (2022-08-29T13:45:21Z)
• Panning for gold: Lessons learned from the platform-agnostic automated detection of political content in textual data [48.7576911714538]
  異なるプラットフォーム間で政治的コンテンツを検出するために、これらの技術がどのように使用できるかについて議論する。 辞書,教師付き機械学習,ニューラルネットワークに依存する3つの検出手法のパフォーマンスを比較した。 この結果から,ニューラルネットワークと機械学習に基づくモデルによって達成されるノイズの少ないデータに対して,事前処理がモデル性能に与える影響が限定された。
  論文  参考訳（メタデータ） (2022-07-01T15:23:23Z)
• APEACH: Attacking Pejorative Expressions with Analysis on Crowd-Generated Hate Speech Evaluation Datasets [4.034948808542701]
  APEACHは、特定されていないユーザによって生成されるヘイトスピーチの収集を可能にする方法である。 ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,ヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
  論文  参考訳（メタデータ） (2022-02-25T02:04:38Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。