論文の概要: Assessing Classical Machine Learning and Transformer-based Approaches for Detecting AI-Generated Research Text

• arxiv url: http://arxiv.org/abs/2509.20375v1
• Date: Sat, 20 Sep 2025 04:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.474736
• Title: Assessing Classical Machine Learning and Transformer-based Approaches for Detecting AI-Generated Research Text
• Title（参考訳）: AI生成研究テキスト検出のための古典的機械学習と変圧器によるアプローチの評価
• Authors: Sharanya Parimanoharan, Ruwan D. Nawarathna,
• Abstract要約: 機械学習アプローチは、ChatGPT-3.5生成したテキストと人間のテキストを区別することができる。 DistilBERTは全体的な最高のパフォーマンスを達成し、Logistic RegressionとBERT-Customはしっかりとしたバランスの取れた代替手段を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid adoption of large language models (LLMs) such as ChatGPT has blurred the line between human and AI-generated texts, raising urgent questions about academic integrity, intellectual property, and the spread of misinformation. Thus, reliable AI-text detection is needed for fair assessment to safeguard human authenticity and cultivate trust in digital communication. In this study, we investigate how well current machine learning (ML) approaches can distinguish ChatGPT-3.5-generated texts from human-written texts employing a labeled data set of 250 pairs of abstracts from a wide range of research topics. We test and compare both classical (Logistic Regression armed with classical Bag-of-Words, POS, and TF-IDF features) and transformer-based (BERT augmented with N-grams, DistilBERT, BERT with a lightweight custom classifier, and LSTM-based N-gram models) ML detection techniques. As we aim to assess each model's performance in detecting AI-generated research texts, we also aim to test whether an ensemble of these models can outperform any single detector. Results show DistilBERT achieves the overall best performance, while Logistic Regression and BERT-Custom offer solid, balanced alternatives; LSTM- and BERT-N-gram approaches lag. The max voting ensemble of the three best models fails to surpass DistilBERT itself, highlighting the primacy of a single transformer-based representation over mere model diversity. By comprehensively assessing the strengths and weaknesses of these AI-text detection approaches, this work lays a foundation for more robust transformer frameworks with larger, richer datasets to keep pace with ever-improving generative AI models.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)の急速な採用により、人間とAIが生成するテキストの境界が曖昧になり、学術的完全性、知的財産権、誤情報の普及に関する緊急の疑問が提起された。 したがって、人間の信頼を守り、デジタルコミュニケーションへの信頼を育むために、公正な評価のために信頼できるAIテキスト検出が必要である。 そこで本研究では,ChatGPT-3.5生成テキストと,250対の抽象文からなるラベル付きデータセットを多種多様な研究トピックから用いた人文テキストとを,現在の機械学習(ML)アプローチがいかに区別できるかを検討する。 N-grams, DistilBERT, BERT with a lightweight custom classifier, LSTM-based N-gram model) ML検出技術とトランスフォーマーベース(BERT augmented with N-grams, DistilBERT, BERT with a lightweight custom classifier, LSTM-based N-gram model)の比較を行った。 AI生成された研究用テキストの検出における各モデルの性能を評価することを目的としており、これらのモデルのアンサンブルが単一の検出器よりも優れているかどうかをテストすることを目的とする。 その結果、DistilBERTは全体的な最高のパフォーマンスを達成し、Logistic RegressionとBERT-Customは安定した代替手段を提供し、LSTMとBERT-N-gramはラグにアプローチした。 3つのベストモデルの最大投票アンサンブルは、DistilBERT自体を超えず、単にモデルの多様性よりも単一のトランスフォーマーベースの表現の優位性を強調している。 これらのAIテキスト検出アプローチの長所と短所を包括的に評価することにより、この研究は、より堅牢なトランスフォーマーフレームワークと、より大きく、よりリッチなデータセットにより、継続的に改善される生成AIモデルにペースを維持するための基盤となる。

関連論文リスト

• Fine-Grained Detection of AI-Generated Text Using Sentence-Level Segmentation [3.088244520495001]
  人間とAI生成テキスト間の遷移を検出するための文レベルのシーケンスラベリングモデルの提案 我々のモデルは、ニューラルネットワーク(NN)と条件ランダムフィールド(CRF)を組み込んだ最先端の事前学習トランスフォーマーモデルを組み合わせる。 評価は、協力的な人間とAI生成されたテキストを含む2つの公開ベンチマークデータセットで実行される。
  論文  参考訳（メタデータ） (2025-09-22T14:22:55Z)
• Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。 従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。