論文の概要: Detection of ChatGPT Fake Science with the xFakeSci Learning Algorithm

• arxiv url: http://arxiv.org/abs/2308.11767v3
• Date: Tue, 12 Mar 2024 20:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 18:57:27.096113
• Title: Detection of ChatGPT Fake Science with the xFakeSci Learning Algorithm
• Title（参考訳）: xFakeSci学習アルゴリズムを用いたChatGPTフェイク科学の検出
• Authors: Ahmed Abdeen Hamed and Xindong Wu
• Abstract要約: xFakeSciは、ChatGPTが生成した記事を科学者によって作成された出版物と区別できる新しい学習アルゴリズムである。 我々は,そのアルゴリズムが最先端(SOTA)アルゴリズムに対してどのようにベンチマークされるかを示す。
• 参考スコア（独自算出の注目度）: 12.618376303999366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ChatGPT and generative AI tools are becoming the new reality. This work is motivated by the premise that ``ChatGPT content may exhibit a distinctive behavior that can be separated from scientific articles''. In this study, we demonstrate how we tested this premise in two phases and prove its validity. Subsequently, we introduce xFakeSci, a novel learning algorithm, that is capable of distinguishing ChatGPT-generated articles from publications produced by scientists. The algorithm is trained using network models driven from multiple types of data sources, such as ChatGPT-generated documents achieved by means of prompt-engineering, and PubMed articles. To mitigate over-fitting issues, we incorporate a calibration step that is built upon data-driven heuristics, including ratios. We evaluate the algorithm across multiple datasets covering publication periods and diseases (cancer, depression, and Alzheimer's). Further, we show how the algorithm is benchmarked against the state-of-the-art (SOTA) algorithms. While the xFakeSci algorithm achieve F1 score ranging from 80% - 94%, SOTA algorithms score F1 values between 38% - 52%. We attribute the noticeable difference to the introduction of calibration and a proximity distance heuristic, which we underscore this promising performance. Indeed, the prediction of fake science generated by ChatGPT presents a considerable challenge. Nonetheless, the introduction of xFakeSci algorithm is a significant step on the way to combating fake science.
• Abstract（参考訳）: チャットGPTと生成AIツールが新しい現実になりつつある。 この研究は、「『ChatGPT』の内容は、科学論文から切り離せる独特な行動を示す」という前提によって動機付けられている。 本研究では,この前提を2段階に分けて検証し,その妥当性を実証する。 次に,新たな学習アルゴリズムであるxFakeSciを導入し,ChatGPT生成記事と科学者による出版物を識別する。 このアルゴリズムは、ChatGPTの生成した文書やPubMedの記事など、複数のデータソースから駆動されるネットワークモデルを用いて訓練される。 過度に適合する問題を緩和するため、比率を含むデータ駆動ヒューリスティックに基づく校正手順を組み込んだ。 本アルゴリズムは,発刊期間と疾患(がん,うつ病,アルツハイマー病)をカバーする複数のデータセットにまたがって評価する。 さらに,そのアルゴリズムが最先端(SOTA)アルゴリズムに対してどのようにベンチマークされるかを示す。 xFakeSciアルゴリズムがF1スコアを80%から94%に、SOTAアルゴリズムがF1スコアを38%から52%に上げる。 我々は、キャリブレーションの導入と近接距離ヒューリスティックにより顕著な違いを生じさせ、この有望な性能を裏付ける。 実際、ChatGPTが生成した偽科学の予測には、かなりの課題がある。 それでも、xFakeSciアルゴリズムの導入は、フェイクサイエンスと戦うための重要なステップである。

関連論文リスト

• Deep Learning Detection Method for Large Language Models-Generated Scientific Content [0.0]
  大規模言語モデルは、人間が書いたものと区別できない科学的内容を生成する。 本稿では,ChatGPTを用いた科学テキスト検出手法であるAI-Catcherを提案する。 AI-Catcherの精度は平均37.4%向上した。
  論文  参考訳（メタデータ） (2024-02-27T19:16:39Z)
• Machine Learning Technique Based Fake News Detection [0.0]
  収集したデータセットから1876年のニュースデータを利用して、偽ニュースと真ニュースを分類するモデルを訓練した。 我々の研究は3つの一般的な機械学習(確率勾配降下、ナイーブベイズ、ロジスティック回帰)と2つのDeep Learning(Long-Short Term Memory、ASGD Weight-Dropped LSTM、AWD-LSTM)アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2023-09-18T19:26:54Z)
• Detecting Throat Cancer from Speech Signals using Machine Learning: A Scoping Literature Review [0.30723404270319693]
  人工知能(AI)と機械学習(ML)は、患者の発話から喉がんを検出する可能性がある。 音声から喉がんを検出するためのAIとMLの使用について、包括的なレビューは行われていない。 このレビューは、これらの技術がどのように機能するかを評価し、今後の研究で解決すべき課題を特定することで、このギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2023-07-18T13:06:17Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• UrduFake@FIRE2020: Shared Track on Fake News Identification in Urdu [62.6928395368204]
  本稿では、ウルドゥー語における偽ニュース検出に関するFIRE 2020における最初の共有タスクの概要について述べる。 目標は、900の注釈付きニュース記事と400のニュース記事からなるデータセットを使って偽ニュースを特定することである。 データセットには、 (i) Health、 (ii) Sports、 (iii) Showbiz、 (iv) Technology、 (v) Businessの5つのドメインのニュースが含まれている。
  論文  参考訳（メタデータ） (2022-07-25T03:46:51Z)
• Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020 [62.6928395368204]
  タスクはバイナリ分類タスクとして設定され、ゴールはリアルニュースとフェイクニュースを区別することである。 トレーニング用に900の注釈付きニュース記事とテスト用に400のニュース記事のデータセットを作成した。 6カ国(インド、中国、エジプト、ドイツ、パキスタン、イギリス)の42チームが登録された。
  論文  参考訳（メタデータ） (2022-07-25T03:41:32Z)
• Development of Fake News Model using Machine Learning through Natural Language Processing [0.7120858995754653]
  機械学習アルゴリズムとフェイクニュースの識別に使用しています。 フェイクニュース検出では、単純な分類が完全に正しいわけではない。 機械学習とテキストベースの処理を統合することで、偽ニュースを検出することができる。
  論文  参考訳（メタデータ） (2022-01-19T09:26:15Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。