論文の概要: ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI

• arxiv url: http://arxiv.org/abs/2109.09483v1
• Date: Mon, 20 Sep 2021 12:41:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 16:22:44.762384
• Title: ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI
• Title（参考訳）: ConvAbuse: 会話型AIにおけるNuanced Abuse検出のためのデータ、分析、ベンチマーク
• Authors: Amanda Cercas Curry, Gavin Abercrombie, Verena Rieser
• Abstract要約: 野生」に集結した3つの対話型AIシステムに向けた、虐待的言語に関する最初の英語コーパス研究を提示する。 タスクの複雑さを考慮し、私たちのConvAIデータセットがきめ細かい乱用の概念を反映する、よりニュアンスなアプローチを取ります。 悪用の分布は他の一般的なデータセットとは大きく異なることがわかった。
• 参考スコア（独自算出の注目度）: 4.6893473308947495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first English corpus study on abusive language towards three conversational AI systems gathered "in the wild": an open-domain social bot, a rule-based chatbot, and a task-based system. To account for the complexity of the task, we take a more `nuanced' approach where our ConvAI dataset reflects fine-grained notions of abuse, as well as views from multiple expert annotators. We find that the distribution of abuse is vastly different compared to other commonly used datasets, with more sexually tinted aggression towards the virtual persona of these systems. Finally, we report results from bench-marking existing models against this data. Unsurprisingly, we find that there is substantial room for improvement with F1 scores below 90%.
• Abstract（参考訳）: 本稿では、オープンドメインのソーシャルボット、ルールベースのチャットボット、タスクベースのシステムという3つの会話型AIシステムを対象とした、虐待的言語に関する最初の英語コーパスについて紹介する。 タスクの複雑さを考慮するため、私たちのConvAIデータセットは、複数のエキスパートアノテータからのビューだけでなく、きめ細かい乱用の概念を反映する、より“ニュアンス”なアプローチを採用しています。 虐待の分布は他の一般的なデータセットとは大きく異なり、これらのシステムの仮想的なペルソナに対するより性的な攻撃性が強いことが分かりました。 最後に、このデータに対して既存のモデルをベンチマーキングした結果を報告する。 当然のことながら、F1スコアが90%を下回るほど改善の余地がある。

関連論文リスト

• A Unified Multi-Task Learning Architecture for Hate Detection Leveraging User-Based Information [23.017068553977982]
  ヘイトスピーチ、攻撃的言語、攻撃性、人種差別、性差別、その他の虐待的言語は、ソーシャルメディアでよく見られる現象である。 ヘイトコンテンツを大規模にフィルタリングする人工知能(AI)ベースの介入が必要である。 本稿では,ユーザ内およびユーザ間情報を活用することで,英語のヘイトスピーチ識別を改善するユニークなモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-11T10:37:11Z)
• A Target-Aware Analysis of Data Augmentation for Hate Speech Detection [3.858155067958448]
  ヘイトスピーチは、ソーシャルネットワークの普及によって引き起こされる主要な脅威の1つだ。 本稿では,既存のデータを生成言語モデルで拡張し,ターゲットの不均衡を低減する可能性を検討する。 起源、宗教、障害などのヘイトカテゴリーでは、トレーニングのための強化データを用いたヘイトスピーチ分類は、拡張ベースラインが存在しない場合、10%以上のF1が向上する。
  論文  参考訳（メタデータ） (2024-10-10T15:46:27Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Adversarial Botometer: Adversarial Analysis for Social Bot Detection [1.9280536006736573]
  ソーシャルボットは人間の創造性を模倣するコンテンツを制作する。 悪意のあるソーシャルボットは、非現実的なコンテンツで人々を騙すようになる。 テキストベースのボット検出器の動作を競合環境下で評価する。
  論文  参考訳（メタデータ） (2024-05-03T11:28:21Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
  常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。 事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。 本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:31:55Z)
• Data-Efficient Methods for Dialogue Systems [4.061135251278187]
  会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。 ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。 本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
  論文  参考訳（メタデータ） (2020-12-05T02:51:09Z)
• The Paradigm Discovery Problem [121.79963594279893]
  我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。 5つの多言語に対する経験的結果について報告する。 私たちのコードとデータは公開されています。
  論文  参考訳（メタデータ） (2020-05-04T16:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。