論文の概要: Humans can learn to detect AI-generated texts, or at least learn when they can't
- arxiv url: http://arxiv.org/abs/2505.01877v2
- Date: Tue, 06 May 2025 17:51:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 12:42:37.955443
- Title: Humans can learn to detect AI-generated texts, or at least learn when they can't
- Title（参考訳）: 人間はAIが生成したテキストを検知するか、少なくともいつできないかを学習できる
- Authors: Jiří Milička, Anna Marklová, Ondřej Drobil, Eva Pospíšilová,
- Abstract要約: 本研究では、即時フィードバックが得られた場合に、個人が人書きテキストとAI生成テキストの正確な識別を学べるかどうかを検討する。
我々はGPT-4oを用いて、様々なジャンルやテキストタイプに数百のテキストを生成しました。
チェコ語母語話者255人にランダム化されたテキストペアを提示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates whether individuals can learn to accurately discriminate between human-written and AI-produced texts when provided with immediate feedback, and if they can use this feedback to recalibrate their self-perceived competence. We also explore the specific criteria individuals rely upon when making these decisions, focusing on textual style and perceived readability. We used GPT-4o to generate several hundred texts across various genres and text types comparable to Koditex, a multi-register corpus of human-written texts. We then presented randomized text pairs to 255 Czech native speakers who identified which text was human-written and which was AI-generated. Participants were randomly assigned to two conditions: one receiving immediate feedback after each trial, the other receiving no feedback until experiment completion. We recorded accuracy in identification, confidence levels, response times, and judgments about text readability along with demographic data and participants' engagement with AI technologies prior to the experiment. Participants receiving immediate feedback showed significant improvement in accuracy and confidence calibration. Participants initially held incorrect assumptions about AI-generated text features, including expectations about stylistic rigidity and readability. Notably, without feedback, participants made the most errors precisely when feeling most confident -- an issue largely resolved among the feedback group. The ability to differentiate between human and AI-generated texts can be effectively learned through targeted training with explicit feedback, which helps correct misconceptions about AI stylistic features and readability, as well as potential other variables that were not explored, while facilitating more accurate self-assessment. This finding might be particularly important in educational contexts.
- Abstract（参考訳）: 本研究は,人文テキストとAI生成テキストを即時フィードバックで正確に識別できることと,このフィードバックを用いて自己認識能力を再評価できるかどうかを考察する。
また、これらの決定を行う際に個人が依存する特定の基準についても検討し、テキストのスタイルと可読性に焦点をあてる。
我々はGPT-4oを用いて、さまざまなジャンルやテキストタイプにまたがる数百のテキストを生成する。
次に,チェコ語母語話者255人にランダム化されたテキストペアを提示した。
被験者はランダムに2つの条件に割り当てられた: 1人は試験後すぐにフィードバックを受け、もう1人は実験が完了するまでフィードバックを受けなかった。
実験に先立ち、人口統計データや参加者のAI技術への関与とともに、識別、信頼度、応答時間、テキストの可読性に関する判断を精度良く記録した。
即時フィードバックを受けた参加者は、精度と信頼性の校正を著しく改善した。
参加者は当初、スタイリスティックな剛性と可読性に対する期待など、AI生成のテキスト機能に関する誤った仮定を持っていた。
特に、フィードバックなしでは、参加者は最も自信があると感じた時に、最も正確にエラーを犯しました。
人間とAIが生成するテキストを区別する能力は、明示的なフィードバックで目標とするトレーニングを通じて効果的に学習することができる。
この発見は教育の文脈において特に重要であるかもしれない。
関連論文リスト
- Can postgraduate translation students identify machine-generated text? [0.0]
本研究では、言語訓練を受けた個人が、人文からの機械出力を識別する能力について検討する。
23人の大学院翻訳生がイタリア語の散文の抜粋を分析し、人書きかAI生成かを示すために可能性スコアを割り当てた。
論文 参考訳（メタデータ） (2025-04-12T09:58:09Z) - ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。
本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。
以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-02-17T01:15:07Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [60.09665704993751]
本稿では,AI生成コンテンツ分類器におけるグループ固有のしきい値最適化アルゴリズムであるFairOPTを紹介する。
我々のアプローチは、属性(例えば、テキストの長さと書き込みスタイル)に基づいて、データをサブグループに分割し、各グループの決定しきい値を学ぶ。
我々のフレームワークは、AIが生成する出力検出において、より堅牢で公平な分類基準の道を開く。
論文 参考訳（メタデータ） (2025-02-06T21:58:48Z) - People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text [37.36534911201806]
私たちは、300のノンフィクションの英語記事を読むために注釈を雇い、それを人書きまたはAI生成とラベル付けします。
実験の結果,AI生成テキストの検出において,LLMを頻繁に使用するアノテータが優れていることがわかった。
注釈付きデータセットとコードを公開し、AI生成テキストの人的および自動検出に関する将来の研究を刺激します。
論文 参考訳（メタデータ） (2025-01-26T19:31:34Z) - Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳（メタデータ） (2024-09-29T04:31:45Z) - Who Writes the Review, Human or AI? [0.36498648388765503]
本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。
提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。
実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
論文 参考訳（メタデータ） (2024-05-30T17:38:44Z) - Digital Comprehensibility Assessment of Simplified Texts among Persons
with Intellectual Disabilities [2.446971913303003]
本研究は,タブレットコンピュータ上でドイツ語のテキストを読み取る知的障害を有する者を含むテキスト理解度の評価を行った。
複数選択的理解質問、難易度評価、応答時間、読解速度の4つの異なる方法について検討した。
知的障害者の対象群では,読解速度の分析が参加者の読解行動に有意な洞察を与える一方で,最も信頼性の高い尺度として理解的疑問が出現した。
論文 参考訳（メタデータ） (2024-02-20T15:37:08Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - Real or Fake Text?: Investigating Human Ability to Detect Boundaries
Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。
この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文 参考訳（メタデータ） (2022-12-24T06:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。