論文の概要: A Low-Cost Human-in-the-Loop Investigation of Toxicity on GitHub at Scale

• arxiv url: http://arxiv.org/abs/2607.25946v2
• Date: Wed, 29 Jul 2026 23:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 12:52:12.265232
• Title: A Low-Cost Human-in-the-Loop Investigation of Toxicity on GitHub at Scale
• Title（参考訳）: GitHubの大規模毒性に関する低コストヒューマン・イン・ザ・ループ調査
• Authors: Rahat Rizvi Rahman, Mia Mohammad Imran, Kostadin Damevski,
• Abstract要約: オープンソースの議論における有害な相互作用は、コントリビュータを遠ざけ、プロジェクトの持続可能性を脅かす可能性がある。 本稿では,大規模かつ領域分割された毒性ラベルを実用化するHuman-in-the-loop(HITL)アノテーション手法を提案する。
• 参考スコア（独自算出の注目度）: 6.53794042872403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Toxic interactions in open source discussions can alienate contributors and threaten project sustainability, yet prior empirical studies of GitHub toxicity have been limited in scale, raising questions about their generalizability. Scaling up is difficult because toxicity on GitHub is often implicit and context-dependent, making both fully manual annotation and LLM-based labeling unreliable. We present a human-in-the-loop (HITL) annotation methodology that makes large-scale, domain-calibrated toxicity labeling practical. A single call to a small, local LLM produces both a toxicity prediction and a set of interpretable event category scores. A lightweight Random Forest validator then uses those scores to flag the small subset of conversations most likely to be mislabeled, directing human review only where it is needed. The validator outperforms confidence-based and multi-LLM baselines while adding low annotation cost. We apply this pipeline to over 124,000 GitHub issue and pull request conversations. Using the resulting dataset, we evaluate key findings from prior small-scale research, confirming some and qualifying others, and present new insights into the prevalence, characteristics, and dynamics of toxicity across diverse open source projects.
• Abstract（参考訳）: オープンソースの議論における毒性の相互作用は、コントリビュータを遠ざけ、プロジェクトの持続可能性を脅かす可能性があるが、GitHubの毒性に関する以前の実証研究は、大規模に制限されており、その一般化性に関する疑問が提起されている。 GitHubの毒性は暗黙的でコンテキスト依存であり、完全に手動のアノテーションとLLMベースのラベル付けの両方を信頼できないため、スケールアップは難しい。 本稿では,大規模かつ領域分割された毒性ラベルを実用化するHuman-in-the-loop(HITL)アノテーション手法を提案する。 局所的な小さなLSMへの単一の呼び出しは、毒性予測と解釈可能なイベントカテゴリスコアのセットの両方を生成する。 ライトウェイトなランダムフォレスト検証器は、これらのスコアを使用して、会話の小さなサブセットが誤ってラベル付けされる可能性が高いことを通知し、人間によるレビューを必要な場所でのみ指示する。 バリケータは、アノテーションのコストを低くしながら、信頼性ベースのベースラインとマルチLLMベースラインを上回ります。 このパイプラインを124,000以上のGitHubイシューに適用し、リクエストの会話をプルします。 得られたデータセットを用いて,従来の小規模研究から得られた重要な知見を評価し,その妥当性を確認し,さまざまなオープンソースプロジェクトにおける毒性の有病率,特徴,ダイナミクスに関する新たな知見を提示する。

関連論文リスト

• Toxicity Ahead: Forecasting Conversational Derailment on GitHub [9.862809084820304]
  オープンソースソフトウェア(OSS)コミュニティにおける有害な相互作用は、コントリビュータの関与を減らし、プロジェクトの持続可能性を脅かす。 よりスケーラブルなアプローチをサポートするために、GitHubの議論から159個の脱線した有毒スレッドと207個の非有毒スレッドのデータセットをキュレートした。 2段階のプロンプトパイプラインを使用して,GitHub上で会話の脱線を予測する,LLM(Large Language Model)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-17T02:45:12Z)
• Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts [21.081815261690444]
  大規模言語モデル(LLM)は、しばしば幻覚を生じさせ、現実の知識に根ざしていない事実的誤りのテキストを生成する。 これは、医療、金融、顧客サポートといった分野に深刻なリスクをもたらす。 外部知識ベースを活用できない効率的な検出手法であるCONFACTCHECKを紹介する。
  論文  参考訳（メタデータ） (2025-11-15T14:33:02Z)
• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Search Arena: Analyzing Search-Augmented LLMs [61.28673331156436]
  クラウドソーシングで大規模で,24,000以上のペア化されたマルチターンユーザインタラクションの人為的なデータセットであるSearch Arenaを紹介した。 データセットはさまざまな意図や言語にまたがっており、人間の好みの投票数約12,000の完全なシステムトレースが含まれている。 分析の結果,引用されたコンテンツが属性付クレームを直接サポートしていない場合でも,ユーザの嗜好は引用数に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-05T17:59:26Z)
• Understanding and Predicting Derailment in Toxic Conversations on GitHub [6.343946534579351]
  この研究は、GitHubの有害性につながる会話の脱線を理解し予測することを目的としている。 このデータセットに基づいて,有害な会話や脱線点の特徴を識別する。 本研究では,エスカレーション前に潜在的に有害な会話を自動的に検出し,対処するための能動的モデレーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T02:01:37Z)
• The Landscape of Toxicity: An Empirical Investigation of Toxicity on GitHub [3.0586855806896054]
  ProfanityはGitHubで最も頻度の高い毒性であり、続いてトロルと侮辱が続く。 企業スポンサーのプロジェクトは毒性が低いが、ゲームプロジェクトはゲーム以外のプロジェクトの7倍の毒性がある。 過去に有毒なコメントを書いたOSSコントリビュータは、このような行動を繰り返す可能性が著しく高い。
  論文  参考訳（メタデータ） (2025-02-12T09:24:59Z)
• Exploring ChatGPT for Toxicity Detection in GitHub [5.003898791753481]
  しばしば有毒なコメントとして表されるネガティブな会話の頻度は、開発者の幸福と生産性に重大な課題をもたらします。 プロジェクトコミュニケーションにおいてこのような負性性を特定するためには, 自動毒性検出モデルが必要である。 これらのモデルを効果的にトレーニングするには、大規模なソフトウェアエンジニアリング固有の毒性データセットが必要です。
  論文  参考訳（メタデータ） (2023-12-20T15:23:00Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。