論文の概要: ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in
Conversational AI
- arxiv url: http://arxiv.org/abs/2109.09483v1
- Date: Mon, 20 Sep 2021 12:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:22:44.762384
- Title: ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in
Conversational AI
- Title(参考訳): ConvAbuse: 会話型AIにおけるNuanced Abuse検出のためのデータ、分析、ベンチマーク
- Authors: Amanda Cercas Curry, Gavin Abercrombie, Verena Rieser
- Abstract要約: 野生」に集結した3つの対話型AIシステムに向けた、虐待的言語に関する最初の英語コーパス研究を提示する。
タスクの複雑さを考慮し、私たちのConvAIデータセットがきめ細かい乱用の概念を反映する、よりニュアンスなアプローチを取ります。
悪用の分布は他の一般的なデータセットとは大きく異なることがわかった。
- 参考スコア(独自算出の注目度): 4.6893473308947495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the first English corpus study on abusive language towards three
conversational AI systems gathered "in the wild": an open-domain social bot, a
rule-based chatbot, and a task-based system. To account for the complexity of
the task, we take a more `nuanced' approach where our ConvAI dataset reflects
fine-grained notions of abuse, as well as views from multiple expert
annotators. We find that the distribution of abuse is vastly different compared
to other commonly used datasets, with more sexually tinted aggression towards
the virtual persona of these systems. Finally, we report results from
bench-marking existing models against this data. Unsurprisingly, we find that
there is substantial room for improvement with F1 scores below 90%.
- Abstract(参考訳): 本稿では、オープンドメインのソーシャルボット、ルールベースのチャットボット、タスクベースのシステムという3つの会話型AIシステムを対象とした、虐待的言語に関する最初の英語コーパスについて紹介する。
タスクの複雑さを考慮するため、私たちのConvAIデータセットは、複数のエキスパートアノテータからのビューだけでなく、きめ細かい乱用の概念を反映する、より“ニュアンス”なアプローチを採用しています。
虐待の分布は他の一般的なデータセットとは大きく異なり、これらのシステムの仮想的なペルソナに対するより性的な攻撃性が強いことが分かりました。
最後に、このデータに対して既存のモデルをベンチマーキングした結果を報告する。
当然のことながら、F1スコアが90%を下回るほど改善の余地がある。
関連論文リスト
- Zero-Shot Fact-Checking with Semantic Triples and Knowledge Graphs [13.024338745226462]
クレームとエビデンス文を直接操作する代わりに、外部知識グラフを用いたセマンティックトリプルに分解する。
これにより、特定のトレーニングデータを必要とするモデルを教師する、敵対的なデータセットとドメインに一般化することができる。
提案手法は, FEVER, FEVER-Symmetric, FEVER 2.0, Climate-FEVERにおいて, 従来のゼロショットアプローチよりも優れていた。
論文 参考訳(メタデータ) (2023-12-19T01:48:31Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Detect Hate Speech in Unseen Domains using Multi-Task Learning: A Case
Study of Political Public Figures [7.52579126252489]
複数のヘイトスピーチデータセットを同時に学習するマルチタスク学習パイプラインを提案する。
列車-テスト分割における一般化誤差を調べる際には強い結果が得られ、以前に見つからなかったデータセットで予測する場合には大幅に改善される。
PubFigsと呼ばれる新しいデータセットも収集し、アメリカ公共政治図の問題点に焦点をあてた。
論文 参考訳(メタデータ) (2022-08-22T21:13:38Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - Causal Scene BERT: Improving object detection by searching for
challenging groups of data [125.40669814080047]
コンピュータビジョンアプリケーションは、物体検出のようなタスクのためにニューラルネットワークでパラメータ化された学習ベースの知覚モジュールに依存している。
これらのモジュールは、トレーニングプロセスに固有のバイアスのため、予想される誤差が低いが、データの非定型的なグループに対して高い誤差を持つことが多い。
本研究の主な貢献は,シミュレートされたシーンに対して因果的介入を行うことにより,前向きにそのようなグループを発見する擬似オートマチック手法である。
論文 参考訳(メタデータ) (2022-02-08T05:14:16Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - COM2SENSE: A Commonsense Reasoning Benchmark with Complementary
Sentences [21.11065466376105]
常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。
事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。
本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2021-06-02T06:31:55Z) - Data-Efficient Methods for Dialogue Systems [4.061135251278187]
会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。
ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。
本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
論文 参考訳(メタデータ) (2020-12-05T02:51:09Z) - The Paradigm Discovery Problem [121.79963594279893]
我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。
5つの多言語に対する経験的結果について報告する。
私たちのコードとデータは公開されています。
論文 参考訳(メタデータ) (2020-05-04T16:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。