論文の概要: "You" Is Not Toxic: How LLM Labelers Rewrite the Web's Conversation Laws

• arxiv url: http://arxiv.org/abs/2610.23446v1
• Date: Fri, 16 Oct 2026 13:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.940014
• Title: "You" Is Not Toxic: How LLM Labelers Rewrite the Web's Conversation Laws
• Title（参考訳）: LLMのラベラーたちがウェブの会話法を書き換える「You」
• Abstract要約: ラベル付け者は毒性について2人称の住所を間違えている。 ヘイクは「あなた」を含まない非有毒なコメントの12%にフラグを掲げている。 固定されたコーエンのカッパが、ほとんど制約のない法律を残して消えることを証明する。
• 参考スコア（独自算出の注目度）: 0.30693357740321775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What the Web community believes about toxic conversations, such as that toxicity rises in longer and deeper threads, was measured mostly with Google's Perspective API, which is shutting down; large language models (LLMs) will make the next measurements. We find that LLM labelers mistake second-person address for toxicity, and that this one bias manufactures laws that human labels do not show. On 1.25 million news comments with crowd labels, Claude Haiku flags 12% of the non-toxic comments that contain no "you" and 51% of those with four or more; a single crowd rater flags 6% and 10%. Deeper replies address someone more often, so under Haiku toxicity rises with reply depth (+0.93 percentage points per level), while under the crowd's labels it slightly declines (-0.12). Rewriting "you" in the third person removes two thirds of the false rise; flagging only as many comments as the crowd does not remove it, and showing Haiku the parent comment enlarges it. All seven LLMs we test over-flag "you", and at the crowd's flag rate, without the parent, any false rise of the open ones vanishes at a fixed number of second-person words; Haiku also over-flags "you" on Reddit, Gab and Wikipedia talk pages. Agreement with human labels does not reveal the bias: we prove that a fixed Cohen's kappa leaves a law nearly unconstrained. We therefore certify the law instead of the labeler. Threadsafe uses the labeler's scores to choose which comments human raters label and to predict the others, and corrects the predictions with the human labels; linear laws are estimated without bias whatever the labeler does. In simulated audits its intervals for the laws keep nominal coverage from 250 labels on, where uniform-sample methods such as PPI++ fall short, and at 1,000 to 8,000 labels are 0.75 times as wide as those of design-based supervised learning (DSL); a thousand human labels rule out Haiku's rising law.
• Abstract（参考訳）: Webコミュニティが有毒な会話について信じているのは、特にGoogleのパースペクティブAPIで測定されており、大きな言語モデル(LLM)が次の測定を行う。 LLMラベル作成者は、毒性に関する2人称アドレスを間違えており、この偏見は、人間のラベルが示さない法律をつくっている。 クロード・ハイクは「あなた」を含まない非有毒なコメントの12%と4人以上のコメントの51%を掲げている。 より深い回答は、より頻繁に相手に答えるので、俳句の毒性は、応答深度(+0.93ポイント)とともに上昇し、群衆のラベルではわずかに減少する(-0.12)。 三人目の「君」の書き直しでは、偽りの3分の2が削除され、群衆が削除しないのと同じくらいの数のコメントしか表示されず、親のコメントが拡大される。 オーバフラッグ(over-flag)"you"(you)をテストしている7つのLDMすべて、そして、親がいなければ、オープンな単語の偽りの上昇は、固定数の2人称単語で消える。 固定されたコーエンのカッパは、ほとんど拘束されていない法律を残していることを証明します。 したがって、我々はラバーの代わりに法律を認定する。 Threadsafeはラベルのスコアを使用して、人間のラベルラベルを選択し、他のラベルを予測し、人間のラベルで予測を修正する。 PPI++のような一様サンプルの手法が不足し、1000から8,000のラベルはデザインベースの教師あり学習(DSL)のおよそ0.75倍の大きさである。

関連論文リスト

• Used, Mentioned, or Condemned? A Controlled Contrast-Set Diagnostic for the Use-Mention Distinction in Code-Mixed Hinglish Misogyny Detection [0.0]
  我々はこの問題をコードミキシングされたヒングリッシュで研究する。 Hinglish-MGY-Diag, 決定論的ジェネレータ, 416-item/163-minimal-pair コントラストセット診断を行う。
  論文  参考訳（メタデータ） (2026-09-06T17:45:59Z)
• MultiSoc-4D: A Benchmark for Diagnosing Instruction-Induced Label Collapse in Closed-Set LLM Annotation of Bengali Social Media [0.7437884690206271]
  我々はベンガルのソーシャルメディアデータセットベンチマークであるMultiSoc-4Dを紹介した。このベンチマークには、カテゴリー、感情、ヘイトスピーチ、皮肉の4つの側面に沿って注釈付けされた6つのソースから58K以上のソーシャルメディアコメントが含まれている。 我々は,LLMがフォールバックラベルに対する体系的な嗜好を示す「インストラクション誘導ラベル崩壊」と呼ばれる現象を発見した。 我々は、これが「ラベル錯覚」を表すことを証明し、ほぼヌルフレイス・カッパによるサルカズム検出の統計的検証を行った。
  論文  参考訳（メタデータ） (2026-05-07T20:55:28Z)
• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• Can Watermarks Survive Translation? On the Cross-lingual Consistency of Text Watermark for Large Language Models [48.409979469683975]
  テキスト透かしにおける言語間整合性の概念を紹介する。 予備的な実証実験の結果、現在のテキスト透かし技術は、テキストが様々な言語に翻訳されるときに一貫性が欠如していることが判明した。 透かしを回避するための言語横断型透かし除去攻撃(CWRA)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T18:48:38Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)
• LAMBRETTA: Learning to Rank for Twitter Soft Moderation [11.319938541673578]
  LAMBRETTAは、ソフトモデレーションの候補となるツイートを自動的に識別するシステムである。 私たちは、LAMBRETTAをTwitterのデータ上で実行し、2020年の米大統領選に関する虚偽の主張を穏健にしています。 ツイート数はTwitterの20倍以上で、偽陽性は3.93%、偽陰性は18.81%だった。
  論文  参考訳（メタデータ） (2022-12-12T14:41:46Z)
• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• Reading Between the Demographic Lines: Resolving Sources of Bias in Toxicity Classifiers [0.0]
  パースペクティブAPIはおそらく業界で最も広く使われている毒性分類器である。 Googleのモデルは、一般的に標的とするグループのアイデンティティを参照する単語を含むコメントに、より高い毒性スコアを不公平に割り当てる傾向がある。 我々は,強い分類性能を維持しつつ,意図しないバイアスを低減する目的で,いくつかの毒性分類器を構築した。
  論文  参考訳（メタデータ） (2020-06-29T21:40:55Z)
• BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection [3.90603670603335]
  われわれはまず、韓国の有毒なスピーチを識別するために、手動でエンターテイメントニュースコメントをラベル付けした9.4Kを提示する。 どちらの側面も相関しているため、社会的偏見とヘイトスピーチについて注釈が付されている。 CharCNN, BiLSTM, BERT を用いてベンチマークを行い, BERT が全てのタスクにおいて最高スコアを達成している。
  論文  参考訳（メタデータ） (2020-05-26T03:34:01Z)
• Racism is a Virus: Anti-Asian Hate and Counterspeech in Social Media during the COVID-19 Crisis [51.39895377836919]
  新型コロナウイルスは、アジアのコミュニティをターゲットにしたソーシャルメディア上で人種差別や憎悪を引き起こしている。 我々は、Twitterのレンズを通して、反アジアヘイトスピーチの進化と普及について研究する。 私たちは、14ヶ月にわたる反アジア的憎悪と反音声のデータセットとして最大となるCOVID-HATEを作成します。
  論文  参考訳（メタデータ） (2020-05-25T21:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。