論文の概要: GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education
- arxiv url: http://arxiv.org/abs/2403.19148v1
- Date: Thu, 28 Mar 2024 04:57:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:22:41.256275
- Title: GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education
- Title（参考訳）: 高等教育におけるゲンAI検出ツール, 副次的手法, インクルーシティの意義
- Authors: Mike Perkins, Jasper Roe, Binh H. Vu, Darius Postma, Don Hickerson, James McGaughran, Huy Q. Khuat,
- Abstract要約: 本研究では,修正された機械生成コンテンツと対向する6つの主要生成AI(GenAI)テキスト検出器の有効性について検討した。
その結果、既に低い精度(39.5%)の検出器は、操作された内容に直面すると、大きな精度(17.4%)の低下を示すことが示された。
正確さの限界と偽の告発の可能性は、これらのツールが学術的完全性に違反したかどうかを判断するために現在推奨できないことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study investigates the efficacy of six major Generative AI (GenAI) text detectors when confronted with machine-generated content that has been modified using techniques designed to evade detection by these tools (n=805). The results demonstrate that the detectors' already low accuracy rates (39.5%) show major reductions in accuracy (17.4%) when faced with manipulated content, with some techniques proving more effective than others in evading detection. The accuracy limitations and the potential for false accusations demonstrate that these tools cannot currently be recommended for determining whether violations of academic integrity have occurred, underscoring the challenges educators face in maintaining inclusive and fair assessment practices. However, they may have a role in supporting student learning and maintaining academic integrity when used in a non-punitive manner. These results underscore the need for a combined approach to addressing the challenges posed by GenAI in academia to promote the responsible and equitable use of these emerging technologies. The study concludes that the current limitations of AI text detectors require a critical approach for any possible implementation in HE and highlight possible alternatives to AI assessment strategies.
- Abstract（参考訳）: 本研究は,これらのツールによる検出を回避した手法を用いて,機械生成コンテンツに対向する6つの主要生成AI(GenAI)テキスト検出器の有効性について検討する(n=805)。
その結果、検知器の既に低い精度(39.5%)は、操作されたコンテンツに直面すると大きな精度(17.4%)の低下を示し、検出を回避するために他の方法よりも効果的であることが証明された。
正確さの限界と偽の告発の可能性は、これらのツールが現在、学術的完全性の違反が発生したかどうかを判断するために推奨できないことを示し、教育者が包括的かつ公正な評価のプラクティスを維持する上で直面する課題を浮き彫りにしている。
しかし, 生徒の学習支援や, 学力の維持に果たす役割を担っていると考えられる。
これらの結果は、これらの新興技術の責任的かつ公平な利用を促進するために、学術におけるGenAIの課題に対処するための統合的なアプローチの必要性を浮き彫りにしている。
この研究は、AIテキスト検出器の現在の制限は、HEにおけるあらゆる実装に批判的なアプローチを必要とし、AIアセスメント戦略の代替となる可能性を強調している、と結論付けている。
関連論文リスト
- Self-consistent Validation for Machine Learning Electronic Structure [81.54661501506185]
機械学習と自己整合フィールド法を統合して,検証コストの低減と解釈可能性の両立を実現する。
これにより、積極的学習によるモデルの能力の探索が可能となり、実際の研究への統合への信頼がもたらされる。
論文 参考訳（メタデータ） (2024-02-15T18:41:35Z) - Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated
Student Essay Detection [29.433764586753956]
大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。
これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。
本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
論文 参考訳（メタデータ） (2024-02-01T08:11:56Z) - Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳（メタデータ） (2023-12-20T10:53:53Z) - Contra generative AI detection in higher education assessments [0.0]
生成的AIの急速な進歩と普及は、特に教育において、従来の学術的整合性メカニズムの再評価を必要とする。
学術的整合性を維持するという文脈において、AI検出ツールの有効性、脆弱性、倫理的意味について検討する。
本稿では,AI活用を取り入れたロバストアセスメント手法と教育方針への戦略的シフトを提唱する。
論文 参考訳（メタデータ） (2023-12-08T18:46:44Z) - Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies [1.633179643849375]
ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
論文 参考訳（メタデータ） (2023-11-27T20:10:13Z) - Testing of Detection Tools for AI-Generated Text [0.0]
本稿では,人工知能生成テキストの検出ツールの機能について検討する。
精度と誤差型分析に基づいて評価する。
この研究は12の公開ツールと2つの商用システムをカバーする。
論文 参考訳（メタデータ） (2023-06-21T16:29:44Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Game of Tones: Faculty detection of GPT-4 generated content in
university assessments [0.0]
本研究では,Open AIのGene-Trained Transformerの使用に対する大学評価の堅牢性について検討する。
人工知能(AI)検出ツールによって支援された場合、学術スタッフがその使用を検出する能力を評価する。
論文 参考訳（メタデータ） (2023-05-29T13:31:58Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳（メタデータ） (2021-06-14T20:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。