論文の概要: Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?

• arxiv url: http://arxiv.org/abs/2308.01284v2
• Date: Thu, 17 Aug 2023 22:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 19:27:22.703396
• Title: Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?
• Title（参考訳）: AIが生成したテキストをChatGPTで検出できるのか?
• Authors: Amrita Bhattacharjee, Huan Liu
• Abstract要約: 人間の書き起こし対AI生成テキスト検出におけるChatGPTのゼロショット性能を評価する。 我々は,ChatGPTがAI生成テキストや人文テキストの検出に対称的に有効であるかどうかを実証的に検討する。
• 参考スコア（独自算出の注目度）: 20.37071875344405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) such as ChatGPT are increasingly being used for various use cases, including text content generation at scale. Although detection methods for such AI-generated text exist already, we investigate ChatGPT's performance as a detector on such AI-generated text, inspired by works that use ChatGPT as a data labeler or annotator. We evaluate the zero-shot performance of ChatGPT in the task of human-written vs. AI-generated text detection, and perform experiments on publicly available datasets. We empirically investigate if ChatGPT is symmetrically effective in detecting AI-generated or human-written text. Our findings provide insight on how ChatGPT and similar LLMs may be leveraged in automated detection pipelines by simply focusing on solving a specific aspect of the problem and deriving the rest from that solution. All code and data is available at https://github.com/AmritaBh/ChatGPT-as-Detector.
• Abstract（参考訳）: chatgptのような大規模言語モデル(llm)は、大規模テキストコンテンツ生成を含む様々なユースケースでますます使われている。 このようなAI生成テキストの検出方法はすでに存在するが,ChatGPTをデータラベラやアノテーションとして使用する作業にインスパイアされた,そのようなAI生成テキストの検出器としてのChatGPTの性能について検討する。 人間の書き起こし対AI生成テキスト検出タスクにおけるChatGPTのゼロショット性能を評価し、公開データセットで実験を行う。 我々は,ChatGPTがAI生成テキストや人文テキストの検出に対称的に有効かどうかを実証的に検討する。 この結果から,ChatGPTと類似のLCMが,問題の特定の側面を解決し,その解から残りを導出することに集中して,自動検出パイプラインにどのように活用されるか,という知見が得られた。 すべてのコードとデータはhttps://github.com/AmritaBh/ChatGPT-as-Detectorで入手できる。

関連論文リスト

• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions [13.077729125193434]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:23:10Z)
• Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text [48.36706154871577]
  我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。 純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。 また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:38:37Z)
• Is this Snippet Written by ChatGPT? An Empirical Study with a CodeBERT-Based Classifier [13.613735709997911]
  本稿では,AI生成コードスニペットの自動識別の実現可能性について検討する。 我々は、CodeBERT上に構築されたGPTSnifferと呼ばれる新しいアプローチを提案し、AIによって書かれたソースコードを検出する。 その結果、GPTSnifferは、コードが人間書きなのかAI生成なのかを正確に分類でき、2つのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-18T16:01:15Z)
• Towards a Robust Detection of Language Model Generated Text: Is ChatGPT that Easy to Detect? [0.0]
  本稿では,フランス語テキストのためのChatGPT検出器の開発と評価手法を提案する。 提案手法では、英文データセットをフランス語に翻訳し、翻訳されたデータに基づいて分類器を訓練する。 その結果, 検出器はChatGPT生成テキストを効果的に検出でき, ドメイン内設定における基本的な攻撃手法に対する堅牢性も高いことがわかった。
  論文  参考訳（メタデータ） (2023-06-09T13:03:53Z)
• CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts [10.034193809833372]
  悪意のあるユーザーはChatGPTを通じてダミーな学術コンテンツを合成できる。 本稿では,検出アルゴリズムの開発を支援するために,大規模なCHatGPT-writtEn AbsTractデータセット(CHEAT)を提案する。
  論文  参考訳（メタデータ） (2023-04-24T11:19:33Z)
• Can ChatGPT Reproduce Human-Generated Labels? A Study of Social Computing Tasks [9.740764281808588]
  ChatGPTは、ソーシャルコンピューティングタスクにおいて人為的なラベルアノテーションを再現する可能性がある。 姿勢検出(2x),感情分析,ヘイトスピーチ,ボット検出の5つのデータセットを抽出した。 この結果から,ChatGPTはこれらのデータアノテーションタスクを処理できる可能性を秘めていますが,いくつかの課題が残っています。
  論文  参考訳（メタデータ） (2023-04-20T08:08:12Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。