論文の概要: SOGPTSpotter: Detecting ChatGPT-Generated Answers on Stack Overflow

• arxiv url: http://arxiv.org/abs/2602.04185v1
• Date: Wed, 04 Feb 2026 03:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.358877
• Title: SOGPTSpotter: Detecting ChatGPT-Generated Answers on Stack Overflow
• Title（参考訳）: SOGPTSpotter: スタックオーバーフロー上のChatGPT生成回答の検出
• Authors: Suyu Ma, Chunyang Chen, Hourieh Khalajzadeh, John Grundy,
• Abstract要約: Stack Overflowは人気のQ&Aプラットフォームで、ユーザは技術的な質問をし、専門家のコミュニティから回答を受け取る。 ChatGPTが生成した回答の数は大幅に増加しており、サイトへの不正確で信頼性の低い情報が投稿される可能性がある。 我々は,Siamese Neural Networks を利用した新しいアプローチ SOGPTSpotter を導入し,BigBird モデルと Triplet 損失を利用して,Stack Overflow 上で ChatGPT 生成した解を検出する。
• 参考スコア（独自算出の注目度）: 11.522654103273242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stack Overflow is a popular Q&A platform where users ask technical questions and receive answers from a community of experts. Recently, there has been a significant increase in the number of answers generated by ChatGPT, which can lead to incorrect and unreliable information being posted on the site. While Stack Overflow has banned such AI-generated content, detecting whether a post is ChatGPT-generated remains a challenging task. We introduce a novel approach, SOGPTSpotter, that employs Siamese Neural Networks, leveraging the BigBird model and the Triplet loss, to detect ChatGPT-generated answers on Stack Overflow. We use triplets of human answers, reference answers, and ChatGPT answers. Our empirical evaluation reveals that our approach outperforms well-established baselines like GPTZero, DetectGPT, GLTR, BERT, RoBERTa, and GPT-2 in identifying ChatGPT-synthesized Stack Overflow responses. We also conducted an ablation study to show the effectiveness of our model. Additional experiments were conducted to assess various factors, including the impact of text length, the model's robustness against adversarial attacks, and its generalization capabilities across different domains and large language models. We also conducted a real-world case study on Stack Overflow. Using our tool's recommendations, Stack Overflow moderators were able to identify and take down ChatGPT-suspected generated answers, demonstrating the practical applicability and effectiveness of our approach.
• Abstract（参考訳）: Stack Overflowは人気のQ&Aプラットフォームで、ユーザは技術的な質問をし、専門家のコミュニティから回答を受け取る。 最近、ChatGPTが生成する回答の数が大幅に増加し、サイトへの不正確で信頼性の低い情報が投稿される可能性がある。 Stack Overflowは、このようなAI生成コンテンツを禁止しているが、投稿がChatGPT生成であるかどうかを検出することは、依然として難しい課題である。 我々は,Siamese Neural Networks を利用した新しいアプローチ SOGPTSpotter を導入し,BigBird モデルと Triplet 損失を利用して,Stack Overflow 上で ChatGPT 生成した解を検出する。 人間の答え、参照回答、ChatGPTの回答の三つ子を使っています。 GPTZero, DetectGPT, GLTR, BERT, RoBERTa, GPT-2 など,ChatGPT を合成した Stack Overflow 応答の同定において,本手法が優れたベースラインよりも優れていることを示す。 また,本モデルの有効性を示すためのアブレーション研究も行った。 テキスト長の影響, 敵攻撃に対するモデルの頑健性, ドメインや大規模言語モデルに対する一般化能力など, さまざまな要因を評価するための追加実験を行った。 Stack Overflowの実際のケーススタディも実施しました。 ツールのレコメンデーションを使って、Stack Overflowモデレーターは、ChatGPTが提案した回答を識別し、削除することができ、私たちのアプローチの実践的適用性と有効性を示しました。

関連論文リスト

• Stack Overflow Is Not Dead Yet: Crowd Answers Still Matter [0.9990687944474739]
  ChatGPTは、2022年11月にStack Overflowで導入された。 本稿では,ChatGPTがユーザの質問やコード例の長さと難易度に与える影響を推定する。 私たちの結果は、ChatGPTがStack Overflowに関する質問を効果的に提起したことを示唆しています。
  論文  参考訳（メタデータ） (2025-09-07T00:43:38Z)
• An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning? [0.6749750044497732]
  ChatGPTは、Stack Overflowのようなコミュニティの質問に答えるプラットフォームに対して、ソフトウェアエンジニアにインタラクティブな代替手段を提供する。 私たちは、2022年1月から2022年12月までに質問されたStackOverflowから、2564のPythonとJavaScriptの質問を分析しました。 分析の結果,ChatGPTの回答は66%短く,質問に対して35%の回答が得られた。
  論文  参考訳（メタデータ） (2024-09-26T02:17:30Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• Are We Ready to Embrace Generative AI for Software Q&A? [25.749110480727765]
  世界最大のソフトウェアQ&A(SQA)WebサイトであるStack Overflowは、生成AI技術の出現により、トラフィックの大幅な減少に直面している。 ChatGPTは、Stack Overflowのリリースからわずか6日後に禁止される。 これを検証するために、我々は人書きとChatGPT生成の回答の比較評価を行った。
  論文  参考訳（メタデータ） (2023-07-19T05:54:43Z)
• Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete? [1.231476564107544]
  ChatGPTはコードの生成や開発者の質問に対する応答の代替手段として使用されている。 以上の結果から,プライバシ関連の質問の多くは,選択/同意,集約,識別に関連があることが示唆された。
  論文  参考訳（メタデータ） (2023-06-19T21:33:04Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。