論文の概要: AI Detectors Fail Diverse Student Populations: A Mathematical Framing of Structural Detection Limits
- arxiv url: http://arxiv.org/abs/2603.20254v1
- Date: Wed, 11 Mar 2026 06:38:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:12.939319
- Title: AI Detectors Fail Diverse Student Populations: A Mathematical Framing of Structural Detection Limits
- Title(参考訳): AI検出器は学生の人口を減らした:構造的検出限界の数学的分断
- Abstract要約: ブラックボックス」AIテキスト検出器は、一部の学生に対して不均等な誤りを犯し、偽陽性率が高い。
我々は、検出スコアが不正行為手続における唯一の証拠として機能すべきではないと主張している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Student experiences and empirical studies report that "black box" AI text detectors produce high false positive rates with disproportionate errors against certain student populations, yet typically theoretical analyses model detection as a test between two known distributions for human and AI prose. This framing omits the structural feature of university assessment whereby an assessor generally does not know the individual student's writing distribution, making the null hypothesis composite. Standard application of the variational characterisation of total variation distance to this composite null shows trade-off bounds that any text-only, one-shot detector with useful power must produce false accusations at a rate governed by the distributional overlap between student writing and AI output. This is a constraint arising from population diversity that is logically independent of AI model quality and cannot be overcome by better detector engineering or technology. A subgroup mixture bound connects these quantities to observable demographic groups, providing a theoretical basis for the disparate impact patterns documented empirically. We propose suggestions to improve policy and practice, and argue that detection scores should not serve as sole evidence in misconduct proceedings.
- Abstract(参考訳): 学生の経験や実証的研究によると、"ブラックボックス"AIテキスト検出器は、特定の学生に対して不均等なエラーを伴う高い偽陽性率をもたらすが、典型的には、人間とAIの散文の既知の2つの分布の試験としての理論的解析モデル検出である。
このフレーミングは、評価者が一般に個々の学生の筆記分布を知らないという大学評価の構造的特徴を省略し、ヌル仮説を合成する。
この合成ヌルへの全変分距離の変動特性の標準的な適用は、有用なパワーを持つテキストのみのワンショット検出器は、学生書き込みとAI出力の分布重なりによって支配される速度で偽の告発を起こさなければならないというトレードオフを示す。
これは、AIモデルの品質から論理的に独立しており、より良い検出技術や技術によって克服できない、人口の多様性から生じる制約である。
サブグループ混合は、これらの量と観測可能な人口統計群を結合し、経験的に記録された異なる影響パターンの理論的基盤を提供する。
我々は,政策と実践を改善するための提案を提案し,検出スコアが不正行為手続における唯一の証拠として機能すべきではないと主張している。
関連論文リスト
- Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable [17.525659482226875]
科学会議や雑誌は、最近、ピアレビュアーによるLSMの使用を禁じる政策を制定した。
我々は、複数のレベルの人間とAIのコラボレーションをシミュレートしたピアレビューのデータセットを収集し、5つの最先端検出器を評価する。
我々の分析によると、全ての検出器は、LLMが収集したレビューのごく一部をAI生成と誤分類し、学術的不正行為の誤認を危険にさらしている。
論文 参考訳(メタデータ) (2026-03-20T19:28:34Z) - BAID: A Benchmark for Bias Assessment of AI Detectors [9.156813547624923]
本稿では,AI検出器の各種バイアスに対する包括的評価フレームワークであるBAIDを提案する。
人口統計,年齢,教育年数,方言,形式,政治的傾倒,話題の7つのカテゴリーにまたがる200万以上のサンプルを紹介した。
検出性能には一貫した相違があり、特に低表現群からのテキストのリコールレートは低い。
論文 参考訳(メタデータ) (2025-12-12T12:01:42Z) - Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。
提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。
コード、事前トレーニングされたウェイト、デモがリリースされる。
論文 参考訳(メタデータ) (2025-10-07T08:14:45Z) - Fair Deepfake Detectors Can Generalize [51.21167546843708]
共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。
この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。
DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
論文 参考訳(メタデータ) (2025-07-03T14:10:02Z) - Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。
我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。
本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
論文 参考訳(メタデータ) (2025-05-25T23:17:47Z) - Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。
CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。
これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
論文 参考訳(メタデータ) (2025-02-18T07:49:31Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳(メタデータ) (2025-02-06T21:58:48Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Assessing Student Errors in Experimentation Using Artificial
Intelligence and Large Language Models: A Comparative Study with Human Raters [9.899633398596672]
学生の誤りを自動的に識別するLarge Language Models (LLMs) の可能性を検討する。
GPT-3.5とGPT-4をベースとしたAIシステムを開発・試験した。
以上の結果から,AIシステムとレーダ間の誤差検出における精度の差が示唆された。
論文 参考訳(メタデータ) (2023-08-11T12:03:12Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳(メタデータ) (2023-06-27T02:54:07Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-09-30T18:29:09Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。