論文の概要: Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

• arxiv url: http://arxiv.org/abs/2608.14813v1
• Date: Fri, 14 Aug 2026 18:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.091056
• Title: Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data
• Title（参考訳）: LLMトレーニングデータにおける過激派音声の有病率と内容の評価
• Abstract要約: 我々は,大規模言語モデルが事前学習と後学習で遭遇するテキストコーパスの構成について検討する。 Dolmaには、過激派コンテンツやヘイトスピーチを含む数十万のドキュメントが含まれる可能性が高い。 データキュレーションとモデル事前学習にこのことがもたらす影響について論じる。
• 参考スコア（独自算出の注目度）: 0.7666518688915928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite a strong interest on the part of the research community in the topic of trustworthy and safe AI, the composition of the text corpora that large language models (LLMs) encounter in pre- and post-training has not yet drawn much attention. In this work, we address the question of whether LLMs are exposed to unfiltered, uncontextualised extremist speech. Using several definitions of extremist speech, stemming from official documents and research literature, and an extraction pipeline combining automated text processing with expert verification, we provide a lower bound on the prevalence of extremist documents in Dolma, an open training corpus underpinning the OLMo series of models. We show that Dolma is likely to include hundreds of thousands of documents containing extremist content and hate speech of several types, including direct calls for violence, and discuss the implications of this for data curation and model pre-training.
• Abstract（参考訳）: 信頼できる、安全なAIに関する研究コミュニティの一部に対する強い関心にもかかわらず、大規模言語モデル(LLM)が事前訓練や後訓練で遭遇するテキストコーパスの構成は、まだあまり注目されていない。 本研究では,LLMが無文・無文の過激な音声に曝されているかという問題に対処する。 本稿では,オフィシャル文書や研究文献から派生した過激派音声のいくつかの定義と,専門家による検証と自動テキスト処理を組み合わせた抽出パイプラインを用いて,OLMOシリーズを基盤としたオープントレーニングコーパスであるDolmaにおける過激派文書の出現率を低くする。 我々は、Dolmaが暴力の直接的呼びかけを含む、過激派コンテンツやヘイトスピーチを含む数十万件の文書を含む可能性が高いことを示し、データキュレーションとモデル事前学習におけるこの影響について論じる。

関連論文リスト

• CATCH-ME if you RAG: a dataset of Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges [9.965670989893267]
  本稿では,憎悪と誤情報との交わりに対処する対話の大規模,専門家による多言語データセットについて紹介する。 5つの言語をカバーし、7つの辺境化グループに向けられた憎悪を狙うこの新たなリソースは、より説得力があり、事実に根ざした反音声モデルのトレーニングと評価を可能にする。
  論文  参考訳（メタデータ） (2026-06-18T15:32:14Z)
• AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning [115.3243260783674]
  Retrieval-augmented Generation (RAG) は、外部文書を取得することにより、大きな言語モデル(LLM)推論を強化する。 攻撃者が悪意のあるコンテンツを検索コーパスに注入するRAGにおける知識ベース中毒攻撃について検討した。 AdversarialCoTは、コーパス内の1つのドキュメントだけを毒化するクエリ固有の攻撃である。
  論文  参考訳（メタデータ） (2026-04-14T02:10:23Z)
• Training Plug-n-Play Knowledge Modules with Deep Context Distillation [52.94830874557649]
  本稿では,文書レベルの知識モジュール(KM)をトレーニングすることで,知識をモジュール化する手法を提案する。 KMはパラメータ効率のよいLoRAモジュールとして実装された軽量コンポーネントで、新しいドキュメントに関する情報を格納するように訓練されている。 提案手法は,2つのデータセットにまたがって,標準的な次世代予測および事前指導訓練技術より優れる。
  論文  参考訳（メタデータ） (2025-03-11T01:07:57Z)
• Efficient Models for the Detection of Hate, Abuse and Profanity [2.2730792434226763]
  大規模言語モデル(LLM)は、感情分析、文書分類、名前付きエンティティ認識、質問応答、要約など、多くの自然言語処理(NLP)タスクの基盤である。
  論文  参考訳（メタデータ） (2024-02-08T12:28:18Z)
• Did the Neurons Read your Book? Document-level Membership Inference for Large Language Models [17.993892458845124]
  文書レベルのメンバシップを予測し,OpenLLaMA-7B上でインスタンス化するブラックボックス手法を提案する。 本稿では,文書レベルのメンバシップタスクにおいて,プライバシ文献で使用される文レベルのメンバシップ推論攻撃よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-23T15:00:46Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Assessing the impact of contextual information in hate speech detection [0.48369513656026514]
  我々は,Twitter上のメディアからのニュース投稿に対するユーザの反応に基づいた,文脈的ヘイトスピーチ検出のための新しいコーパスを提供する。 このコーパスはリオプラテンセ方言のスペイン語で収集され、新型コロナウイルスのパンデミックに関連するヘイトスピーチに焦点を当てている。
  論文  参考訳（メタデータ） (2022-10-02T09:04:47Z)
• Membership Inference Attacks Against Self-supervised Speech Models [62.73937175625953]
  連続音声における自己教師付き学習(SSL)が注目されている。 ブラックボックスアクセス下でのMIA(Commanship Inference Attacks)を用いたSSL音声モデルに対する最初のプライバシ分析を行う。
  論文  参考訳（メタデータ） (2021-11-09T13:00:24Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• What's in the Box? An Analysis of Undesirable Content in the Common Crawl Corpus [77.34726150561087]
  言語モデルの訓練に広く使用されるコロッサルwebコーパスであるcommon crawlを分析した。 ヘイトスピーチや性的明示的なコンテンツなど、フィルタリング処理後も、好ましくないコンテンツがかなりの量含まれていることがわかりました。
  論文  参考訳（メタデータ） (2021-05-06T14:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。