論文の概要: Incivility Detection in Open Source Code Review and Issue Discussions

• arxiv url: http://arxiv.org/abs/2206.13429v2
• Date: Tue, 19 Dec 2023 02:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:40:29.466899
• Title: Incivility Detection in Open Source Code Review and Issue Discussions
• Title（参考訳）: オープンソースコードレビューにおけるインキビティ検出と課題
• Authors: Isabella Ferreira, Ahlaam Rafiq, Jinghui Cheng
• Abstract要約: オープンソースコードレビューとイシューに関する議論の動機は、否定的な結果をもたらす可能性がある。 我々は6つの古典的機械学習モデルとBERTを比較して、インシヴィティを検出する。 BERTは従来の機械学習モデルより優れており、最高のF1スコアは0.95である。
• 参考スコア（独自算出の注目度）: 11.920861669801832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the democratic nature of open source development, code review and issue discussions may be uncivil. Incivility, defined as features of discussion that convey an unnecessarily disrespectful tone, can have negative consequences to open source communities. To prevent or minimize these negative consequences, open source platforms have included mechanisms for removing uncivil language from the discussions. However, such approaches require manual inspection, which can be overwhelming given the large number of discussions. To help open source communities deal with this problem, in this paper, we aim to compare six classical machine learning models with BERT to detect incivility in open source code review and issue discussions. Furthermore, we assess if adding contextual information improves the models' performance and how well the models perform in a cross-platform setting. We found that BERT performs better than classical machine learning models, with a best F1-score of 0.95. Furthermore, classical machine learning models tend to underperform to detect non-technical and civil discussions. Our results show that adding the contextual information to BERT did not improve its performance and that none of the analyzed classifiers had an outstanding performance in a cross-platform setting. Finally, we provide insights into the tones that the classifiers misclassify.
• Abstract（参考訳）: オープンソース開発の民主的な性質を考えると、コードレビューと課題の議論は非現実的かもしれない。 不必要な無礼なトーンを伝える議論の特徴として定義されるインキビティは、オープンソースコミュニティに悪影響を及ぼす可能性がある。 これらのネガティブな結果を防ぐか、最小化するために、オープンソースプラットフォームには、議論から邪悪な言語を取り除くメカニズムが含まれている。 しかし、このような手法には手動検査が必要であり、多くの議論があるので圧倒的に多い。 本稿では,オープンソースのコミュニティがこの問題に対処するために,従来の6つの機械学習モデルとBERTを比較して,オープンソースのコードレビューと議論の課題を検出することを目的とする。 さらに,文脈情報の追加によってモデルの性能が向上するか,また,モデルがクロスプラットフォームでどのように機能するかを評価する。 BERTは従来の機械学習モデルよりも優れており、最高のF1スコアは0.95である。 さらに、古典的な機械学習モデルは、非技術的、民事的議論を検出するために性能が劣る傾向にある。 以上の結果から,BERT にコンテキスト情報を追加すると性能が向上せず,解析された分類器のいずれも,クロスプラットフォーム環境での優れた性能は得られなかった。 最後に、分類器が誤分類する音色に関する洞察を提供する。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Towards Automated Identification of Violation Symptoms of Architecture Erosion [2.3649868749585874]
  コードレビューでは, 機械学習に基づく15の分類器とディープラーニングに基づく4つの分類器を開発し, 3つの事前学習語を組み込んで, 開発者の議論からアーキテクチャ侵食の違反症状を識別した。 コードレビューにおけるアーキテクチャ違反について議論した参加者からのフィードバックを得るために,調査と半構造化インタビューを行った。 その結果,Word2vec事前学習語埋め込みに基づくSVM分類器はF1スコア0.779で最良となることがわかった。
  論文  参考訳（メタデータ） (2023-06-14T16:20:59Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• No Time Like the Present: Effects of Language Change on Automated Comment Moderation [0.0]
  オンラインヘイトの拡大は、コメント欄を主催する新聞にとって重大な問題となっている。 自動乱用言語検出に機械学習と自然言語処理を使うことへの関心が高まっている。 我々は、ナイーブなML技術で訓練された分類器が将来のデータで過小評価されることを、ドイツの新聞のコメントデータセットを使って示す。
  論文  参考訳（メタデータ） (2022-07-08T16:39:21Z)
• Can Prompt Probe Pretrained Language Models? Understanding the Invisible Risks from a Causal View [37.625078897220305]
  プリトレーニング言語モデル(PLM)の能力を評価するために,プロンプトに基づく探索が広く用いられている。 本稿では、因果的観点からの素早い探索を考察し、偏りのある結果と結論を誘導する3つの重要なバイアスを強調し、因果的介入による偏りの回避を提案する。
  論文  参考訳（メタデータ） (2022-03-23T08:10:07Z)
• Capturing Failures of Large Language Models via Human Cognitive Biases [18.397404180932373]
  OpenAIのCodex errsは、入力プロンプトのフレーム化、アンカーへの出力の調整、頻繁なトレーニング例を模倣する出力へのバイアスなどに基づいている。 我々の実験は、認知科学が現代の機械学習システムがどのように振る舞うかをよりよく理解するために有用な跳躍点になり得ることを示唆している。
  論文  参考訳（メタデータ） (2022-02-24T18:58:52Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。