論文の概要: Automated Identification of Toxic Code Reviews: How Far Can We Go?
- arxiv url: http://arxiv.org/abs/2202.13056v1
- Date: Sat, 26 Feb 2022 04:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 13:28:29.192536
- Title: Automated Identification of Toxic Code Reviews: How Far Can We Go?
- Title（参考訳）: 有害コードレビューの自動識別:どこまで進むことができるのか?
- Authors: Jaydeb Sarker, Asif Kamal Turzo, Ming Dong, Amiangshu Bosu
- Abstract要約: ToxiCRは、コードレビューインタラクションのための教師付き学習ベースの毒性識別ツールである。
ToxiCRは、我々のデータセット上の既存の毒性検知器を著しく上回っている。
- 参考スコア（独自算出の注目度）: 7.655225472610752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Toxic conversations during software development interactions may have serious
repercussions on a Free and Open Source Software (FOSS) development project.
For example, victims of toxic conversations may become afraid to express
themselves, therefore get demotivated, and may eventually leave the project.
Automated filtering of toxic conversations may help a FOSS community to
maintain healthy interactions among its members. However, off-the-shelf
toxicity detectors perform poorly on Software Engineering (SE) dataset, such as
one curated from code review comments. To encounter this challenge, we present
ToxiCR, a supervised learning-based toxicity identification tool for code
review interactions. ToxiCR includes a choice to select one of the ten
supervised learning algorithms, an option to select text vectorization
techniques, five mandatory and three optional SE domain specific processing
steps, and a large scale labeled dataset of 19,571 code review comments. With
our rigorous evaluation of the models with various combinations of
preprocessing steps and vectorization techniques, we have identified the best
combination for our dataset that boosts 95.8% accuracy and 88.9% F1 score.
ToxiCR significantly outperforms existing toxicity detectors on our dataset. We
have released our dataset, pretrained models, evaluation results, and source
code publicly available at: https://github.com/WSU-SEAL/ToxiCR.
- Abstract（参考訳）: ソフトウェア開発のインタラクションにおける有害な会話は、FOSS(Free and Open Source Software)開発プロジェクトに深刻な影響を与える可能性がある。
例えば、有害な会話の被害者は自己表現を怖がり、モチベーションが低下し、最終的にプロジェクトを離れる可能性がある。
有害な会話の自動フィルタリングは、FOSSコミュニティがメンバー間の健全な相互作用を維持するのに役立つかもしれない。
しかし、市販の毒性検出器は、コードレビューコメントからキュレートされたものなど、ソフトウェアエンジニアリング(se)データセットでは性能が劣る。
この課題に対処するために、コードレビューインタラクションのための教師付き学習ベースの毒性識別ツールToxiCRを提案する。
ToxiCRには、教師付き学習アルゴリズムの1つを選択する選択肢、テキストベクトル化テクニックを選択するオプション、5つの必須および3つのオプションSEドメイン固有の処理ステップ、19,571のコードレビューコメントの大規模ラベル付きデータセットが含まれる。
各種前処理ステップとベクトル化手法を組み合わせたモデルの厳密な評価により、95.8%の精度と88.9%のF1スコアを向上するデータセットに最適な組み合わせを見出した。
ToxiCRは、我々のデータセット上の既存の毒性検知器を著しく上回る。
我々はデータセット、事前トレーニングされたモデル、評価結果、およびソースコードをhttps://github.com/WSU-SEAL/ToxiCR.comで公開しました。
関連論文リスト
- Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - GPT-DETOX: An In-Context Learning-Based Paraphraser for Text Detoxification [1.8295720742100332]
GPT-3.5 Turbo を用いたテキストデトキシフィケーションのためのインテキスト・インテキスト・ラーニングのためのフレームワークとして GPT-DETOX を提案する。
単語マッチング例選択(WMES)と文脈マッチング例選択(CMES)の2つの手法を提案する。
我々は、アンサンブルをゼロショットと数ショット設定によるベースプロンプトによって形作るアンサンブル・イン・コンテクスト・ラーニング(EICL)を考慮している。
論文 参考訳（メタデータ） (2024-04-03T20:35:36Z) - Exploring ChatGPT for Toxicity Detection in GitHub [5.003898791753481]
しばしば有毒なコメントとして表されるネガティブな会話の頻度は、開発者の幸福と生産性に重大な課題をもたらします。
プロジェクトコミュニケーションにおいてこのような負性性を特定するためには, 自動毒性検出モデルが必要である。
これらのモデルを効果的にトレーニングするには、大規模なソフトウェアエンジニアリング固有の毒性データセットが必要です。
論文 参考訳（メタデータ） (2023-12-20T15:23:00Z) - ToxiSpanSE: An Explainable Toxicity Detection in Code Review Comments [4.949881799107062]
ToxiSpanSEは、ソフトウェアエンジニアリング(SE)ドメインで有害なスパンを検出する最初のツールである。
我々のモデルは、有害なクラストークンに対する0.88ドルのF1ドル、0.87の精度、および0.93のリコールで最高のスコアを得た。
論文 参考訳（メタデータ） (2023-07-07T04:55:11Z) - EnDex: Evaluation of Dialogue Engagingness at Scale [30.15445159524315]
本研究では,対話性を評価する最初の人間反応モデルであるEnDexを提案する。
コード、既製のEnDexモデル、および論文の発行時に大規模なデータセットをリリースします。
論文 参考訳（メタデータ） (2022-10-22T06:09:43Z) - BeCAPTCHA-Type: Biometric Keystroke Data Generation for Improved Bot
Detection [63.447493500066045]
本研究では,キーストローク生体データ合成のためのデータ駆動学習モデルを提案する。
提案手法は,ユニバーサルモデルとユーザ依存モデルに基づく2つの統計的手法と比較する。
実験フレームワークでは16万件の被験者から1億3600万件のキーストロークイベントのデータセットについて検討している。
論文 参考訳（メタデータ） (2022-07-27T09:26:15Z) - PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in
Contrastive Learning [69.70602220716718]
コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。
特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。
我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
論文 参考訳（メタデータ） (2022-05-13T00:15:44Z) - Spotting adversarial samples for speaker verification by neural vocoders [102.1486475058963]
我々は、自動話者検証(ASV)のための敵対サンプルを見つけるために、ニューラルボコーダを採用する。
元の音声と再合成音声のASVスコアの違いは、真正と逆正のサンプルの識別に良い指標であることがわかった。
私たちのコードは、将来的な比較作業のためにオープンソースにされます。
論文 参考訳（メタデータ） (2021-07-01T08:58:16Z) - Lone Pine at SemEval-2021 Task 5: Fine-Grained Detection of Hate Speech
Using BERToxic [2.4815579733050153]
本稿では, 有害スパン検出問題に対するアプローチについて述べる。
BERToxicは、事前に訓練されたBERTモデルを微調整して、与えられたテキスト中の有毒なテキストスパンを見つけるシステムである。
我々のシステムは、提供されたベースラインを著しく上回り、f1-score 0.683を達成し、91チーム中17位にlone pineを配置した。
論文 参考訳（メタデータ） (2021-04-08T04:46:14Z) - Exploiting Unsupervised Data for Emotion Recognition in Conversations [76.01690906995286]
会話における感情認識(Emotion Recognition in Conversations:ERC)は、会話における話者の感情状態を予測することを目的としている。
ERCタスクの教師付きデータは限られている。
教師なし会話データを活用する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-02T13:28:47Z) - RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language
Models [93.151822563361]
事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。
本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2020-09-24T03:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。