論文の概要: BAID: A Benchmark for Bias Assessment of AI Detectors

• arxiv url: http://arxiv.org/abs/2512.11505v1
• Date: Fri, 12 Dec 2025 12:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.757566
• Title: BAID: A Benchmark for Bias Assessment of AI Detectors
• Title（参考訳）: BAID:AI検出器のバイアス評価ベンチマーク
• Authors: Priyam Basu, Yunfeng Zhang, Vipul Raheja,
• Abstract要約: 本稿では,AI検出器の各種バイアスに対する包括的評価フレームワークであるBAIDを提案する。 人口統計,年齢,教育年数,方言,形式,政治的傾倒,話題の7つのカテゴリーにまたがる200万以上のサンプルを紹介した。 検出性能には一貫した相違があり、特に低表現群からのテキストのリコールレートは低い。
• 参考スコア（独自算出の注目度）: 9.156813547624923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-generated text detectors have recently gained adoption in educational and professional contexts. Prior research has uncovered isolated cases of bias, particularly against English Language Learners (ELLs) however, there is a lack of systematic evaluation of such systems across broader sociolinguistic factors. In this work, we propose BAID, a comprehensive evaluation framework for AI detectors across various types of biases. As a part of the framework, we introduce over 200k samples spanning 7 major categories: demographics, age, educational grade level, dialect, formality, political leaning, and topic. We also generated synthetic versions of each sample with carefully crafted prompts to preserve the original content while reflecting subgroup-specific writing styles. Using this, we evaluate four open-source state-of-the-art AI text detectors and find consistent disparities in detection performance, particularly low recall rates for texts from underrepresented groups. Our contributions provide a scalable, transparent approach for auditing AI detectors and emphasize the need for bias-aware evaluation before these tools are deployed for public use.
• Abstract（参考訳）: AI生成テキスト検出器は、最近、教育と専門の文脈で採用されている。 以前の研究では、特に英語学習者(ELL)に対する偏見の孤立した事例が発見されているが、より広範な社会言語学的要因にまたがって、そのようなシステムの体系的な評価が欠如している。 本研究では,AI検出器の様々なバイアスに対する包括的評価フレームワークであるBAIDを提案する。 フレームワークの一部として,人口統計,年齢,教育年次レベル,方言,形式,政治的傾倒,トピックという,7つの主要なカテゴリにまたがる200万以上のサンプルを紹介した。 また、サブグループ固有の書き込みスタイルを反映しながら、元のコンテンツを保存するために、慎重にプロンプトを作成した各サンプルの合成バージョンも生成した。 これを用いて、4つのオープンソースの最先端AIテキスト検出器を評価し、検出性能に一貫した相違点を見出す。 当社のコントリビューションは,AI検出を監査するためのスケーラブルで透過的なアプローチを提供しています。

関連論文リスト

• Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
  我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。 提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。 コード、事前トレーニングされたウェイト、デモがリリースされる。
  論文  参考訳（メタデータ） (2025-10-07T08:14:45Z)
• Evaluating LLMs for Demographic-Targeted Social Bias Detection: A Comprehensive Benchmark Study [1.6682715542079583]
  汎用AIモデルのトレーニングに使用される大規模なウェブスクレイプテキストコーパスは、しばしば有害な人口統計学的対象の社会的バイアスを含んでいる。 本稿では、人口統計学的対象の社会的偏見を検出するためのLCMの能力を評価するための、英語テキストを対象とした総合的な評価フレームワークを提案する。 次に,学習の促進,文脈内学習,微調整など,スケールとテクニックをまたいだモデルを用いて,体系的な評価を行う。
  論文  参考訳（メタデータ） (2025-10-06T09:45:32Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review [6.20631177269082]
  ピアレビュープロセスに対する新たなリスクは、Negligentレビュアーが論文をレビューするために大きな言語モデル(LLM)に依存することだ。 我々は、AIで書かれたピアレビューを、対応する人間のレビューと組み合わせた合計788,984件の包括的データセットを導入する。 我々は、この新たなリソースを使用して、既存の18のAIテキスト検出アルゴリズムが、人間が完全に書いたピアレビューと、最先端のLLMを区別する能力を評価する。
  論文  参考訳（メタデータ） (2025-02-26T23:04:05Z)
• Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
  本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。 CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。 これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
  論文  参考訳（メタデータ） (2025-02-18T07:49:31Z)
• Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
  本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。 属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。 我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
  論文  参考訳（メタデータ） (2025-02-06T21:58:48Z)
• On the Usefulness of Embeddings, Clusters and Strings for Text Generator Evaluation [86.19634542434711]
  Mauveは、弦上の2つの確率分布間の情報理論のばらつきを測定する。 我々は,Mauveが誤った理由で正しいことを示し,新たに提案された分岐はハイパフォーマンスには必要ないことを示した。 テキストの構文的およびコヒーレンスレベルの特徴を符号化することで、表面的な特徴を無視しながら、文字列分布に対するクラスタベースの代替品は、単に最先端の言語ジェネレータを評価するのに良いかもしれない、と結論付けています。
  論文  参考訳（メタデータ） (2022-05-31T17:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。