論文の概要: Can AI Recognize Its Own Reflection? Self-Detection Performance of LLMs in Computing Education

• arxiv url: http://arxiv.org/abs/2512.23587v1
• Date: Mon, 29 Dec 2025 16:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.57993
• Title: Can AI Recognize Its Own Reflection? Self-Detection Performance of LLMs in Computing Education
• Title（参考訳）: AIは独自のリフレクションを認識できるか?コンピューティング教育におけるLLMの自己検出性能
• Authors: Christopher Burger, Karmece Talley, Christina Trotter,
• Abstract要約: 本稿では、AI生成したテキストをコンピュータ固有の文脈で識別する3つの顕著な大規模言語モデルの能力を評価する。 モデルに検出を回避するよう指示された,標準条件と「欺く」プロンプト条件の両方で,それらの性能をテストした。 デフォルトのAI生成テキストは容易に識別できたが、すべてのモデルは、人間の書いた作品を正しく分類するのに苦労した。
• 参考スコア（独自算出の注目度）: 0.10195618602298682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) presents a significant challenge to academic integrity within computing education. As educators seek reliable detection methods, this paper evaluates the capacity of three prominent LLMs (GPT-4, Claude, and Gemini) to identify AI-generated text in computing-specific contexts. We test their performance under both standard and 'deceptive' prompt conditions, where the models were instructed to evade detection. Our findings reveal a significant instability: while default AI-generated text was easily identified, all models struggled to correctly classify human-written work (with error rates up to 32%). Furthermore, the models were highly susceptible to deceptive prompts, with Gemini's output completely fooling GPT-4. Given that simple prompt alterations significantly degrade detection efficacy, our results demonstrate that these LLMs are currently too unreliable for making high-stakes academic misconduct judgments.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、コンピューティング教育における学術的完全性に重大な課題をもたらす。 教育者は信頼性の高い検出方法を求めるため、コンピュータ固有の文脈でAI生成テキストを識別する3つの著名なLLM(GPT-4, Claude, Gemini)の能力を評価する。 モデルに検出を回避するよう指示された,標準条件と「欺く」プロンプト条件の両方で,それらの性能をテストした。 デフォルトのAI生成テキストは容易に識別できるが、すべてのモデルは、(エラー率を最大32%まで)人書き作業の正しい分類に苦慮している。 さらに、ジェミニの出力はGPT-4を完全にだましているため、このモデルは偽装のプロンプトに非常に敏感であった。 簡便な急激な修正が検出効率を著しく低下させることを考えると,これらのLSMは学術的不正判断を下すには信頼性が低いことが示唆された。

関連論文リスト

• ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
  ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。 難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。 実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-10-12T11:11:20Z)
• Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models [11.379764847748378]
  大規模言語モデル(LLM)は、しばしば欠陥や矛盾した前提を受け入れ、非効率な推論と信頼できない出力をもたらす。 このことは、入力前提におけるエラーを積極的に識別し、明示する能力として定義されたLSMのためのtextbfPremise Critique Aabilities を持つことの重要性を強調している。 我々は,3つの難易度に4つのエラータイプを組み込んで設計したtextbfPremise Critique Bench (PCBench) を,多面的評価指標と組み合わせて紹介する。
  論文  参考訳（メタデータ） (2025-05-29T17:49:44Z)
• When AI Co-Scientists Fail: SPOT-a Benchmark for Automated Verification of Scientific Research [19.97666809905332]
  大規模言語モデル(LLM)は、AIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。 大規模言語モデル(LLM)の最近の進歩は、しばしばAIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。
  論文  参考訳（メタデータ） (2025-05-17T05:45:16Z)
• Fact-checking with Generative AI: A Systematic Cross-Topic Examination of LLMs Capacity to Detect Veracity of Political Information [0.0]
  本研究の目的は,大規模言語モデル (LLM) がファクトチェックにどのように用いられるかを評価することである。 我々は5つのLLMの性能を体系的に評価するAI監査手法を用いる。 結果は、特にセンシティブなトピックにおいて、モデルが偽文を識別するのが優れていることを示している。
  論文  参考訳（メタデータ） (2025-03-11T13:06:40Z)
• AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity [13.371946973050845]
  我々は、人気のある大言語モデル(LLM)によって生成されるエッセイの特徴と品質を検証し、ベンチマークする。 本研究は,既存の自動スコアリングシステムの限界を強調し,改善すべき領域を特定した。 LLMの多種多様さがAI生成エッセイの検出の可能性を損なう可能性があるという懸念にもかかわらず、我々の研究結果は、あるモデルから生成されたエッセイに基づいて訓練された検出器が、高い精度で他人のテキストを識別できることをしばしば示している。
  論文  参考訳（メタデータ） (2024-10-22T21:30:58Z)
• Learning to Rewrite: Generalized LLM-Generated Text Detection [19.9477991969521]
  大規模言語モデル(LLM)は、非現実的コンテンツを生成し、大規模に偽情報を拡散する際に大きなリスクをもたらす。 本稿では、未知の領域に例外的な一般化を伴うAI生成テキストを検出するための新しいフレームワークであるLearning2Rewriteを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T05:53:39Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。