論文の概要: Detection of ChatGPT Fake Science with the xFakeBibs Learning Algorithm
- arxiv url: http://arxiv.org/abs/2308.11767v2
- Date: Sun, 4 Feb 2024 06:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:29:35.281695
- Title: Detection of ChatGPT Fake Science with the xFakeBibs Learning Algorithm
- Title（参考訳）: xFakeBibs学習アルゴリズムを用いたChatGPTフェイク科学の検出
- Authors: Ahmed Abdeen Hamed and Xindong Wu
- Abstract要約: ChatGPTは新しい現実になりつつある。
本稿では,ChatGPTが生成した出版物を科学者が生成した出版物と区別する方法を示す。
前提は、ChatGPTコンテンツは独特な振る舞いを示し、科学的記事とは別物に設定できるということである。
- 参考スコア（独自算出の注目度）: 12.618376303999366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ChatGPT is becoming a new reality. In this paper, we demonstrate a method for
distinguishing ChatGPT-generated publications from those produced by
scientists. The objective of this work is to introduce a newly designed
supervised network-driven algorithm that illustrates how to predict
machine-generated content. The premise is that ChatGPT content exhibits
behavior that is distinctive and can be set apart from scientific articles. The
algorithm was trained and tested on three disease-specific publications, with
each model constructed from 100 abstracts. Additionally, the algorithm
underwent k-Folds calibration (depending on the availability of the data) to
establish a lower-upper bound range of acceptance. The network training model
of ChatGPT showed a lower number of nodes and a higher number of edges when
compared with models of real article abstracts. The algorithm was executed in
single-mode to predict the class of one type of dataset at a time and achieved
>94%. It was also executed in multi-mode on mixed documents of ChatGPT and
PubMed abstracts. The algorithm remarkably predicted real articles with a
precision of 100% and, on rare occasions, 96%-98%. However, ChatGPT content was
often misclassified as real publications with up to 88% accuracy in all
datasets of the three diseases. Our results also showed that the year of
publications mixed with ChatGPT-generated content may play a factor in
detecting the correct class, where the older the publication, the better the
prediction.
- Abstract（参考訳）: ChatGPTは新しい現実になりつつある。
本稿では,ChatGPTによる出版物を科学者による出版と区別する方法を紹介する。
本研究の目的は,機械生成コンテンツの予測方法を示すネットワーク駆動型アルゴリズムを新たに設計することである。
前提は、ChatGPTコンテンツは独特な振る舞いを示し、科学的記事とは分離できるということである。
アルゴリズムは3つの疾患特異的な出版物で訓練され、各モデルは100の抽象物から構築された。
さらに、アルゴリズムはk-Foldsキャリブレーション(データの可用性に依存する)を行い、より低い上限範囲の受け入れを確立した。
ChatGPTのネットワークトレーニングモデルでは,実記事の抽象化モデルと比較してノード数が少なく,エッジ数も高かった。
アルゴリズムは単一モードで実行され、1つのタイプのデータセットのクラスを一度に予測し、94%に達した。
また、chatgptとpubmedabsの混合文書上でマルチモードで実行された。
このアルゴリズムは実記事の精度を100%と予測し、まれに96%～98%の精度で予測した。
しかし、chatgptコンテンツは3つの病気の全てのデータセットにおいて88%の精度で実際の出版物として誤分類されることが多かった。
以上の結果から,ChatGPTが生成するコンテンツと混ざった出版物が混ざり合う年は,より古い出版物の方が予測の精度が高い正しいクラスを検知する要因となる可能性が示唆された。
関連論文リスト
- Deep Learning Detection Method for Large Language Models-Generated
Scientific Content [0.0]
大規模言語モデルは、人間が書いたものと区別できない科学的内容を生成する。
本稿では,ChatGPTを用いた科学テキスト検出手法であるAI-Catcherを提案する。
AI-Catcherの精度は平均37.4%向上した。
論文 参考訳（メタデータ） (2024-02-27T19:16:39Z) - Machine Learning Technique Based Fake News Detection [0.0]
収集したデータセットから1876年のニュースデータを利用して、偽ニュースと真ニュースを分類するモデルを訓練した。
我々の研究は3つの一般的な機械学習(確率勾配降下、ナイーブベイズ、ロジスティック回帰)と2つのDeep Learning(Long-Short Term Memory、ASGD Weight-Dropped LSTM、AWD-LSTM)アルゴリズムを実行する。
論文 参考訳（メタデータ） (2023-09-18T19:26:54Z) - Detecting Throat Cancer from Speech Signals using Machine Learning: A Scoping Literature Review [0.30723404270319693]
人工知能(AI)と機械学習(ML)は、患者の発話から喉がんを検出する可能性がある。
喉がんの症例は世界中で増加している。
音声から喉がんを検出するためのAIとMLの使用について、包括的なレビューは行われていない。
論文 参考訳（メタデータ） (2023-07-18T13:06:17Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
論文 参考訳（メタデータ） (2023-03-23T16:15:03Z) - UrduFake@FIRE2020: Shared Track on Fake News Identification in Urdu [62.6928395368204]
本稿では、ウルドゥー語における偽ニュース検出に関するFIRE 2020における最初の共有タスクの概要について述べる。
目標は、900の注釈付きニュース記事と400のニュース記事からなるデータセットを使って偽ニュースを特定することである。
データセットには、 (i) Health、 (ii) Sports、 (iii) Showbiz、 (iv) Technology、 (v) Businessの5つのドメインのニュースが含まれている。
論文 参考訳（メタデータ） (2022-07-25T03:46:51Z) - Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020 [62.6928395368204]
タスクはバイナリ分類タスクとして設定され、ゴールはリアルニュースとフェイクニュースを区別することである。
トレーニング用に900の注釈付きニュース記事とテスト用に400のニュース記事のデータセットを作成した。
6カ国(インド、中国、エジプト、ドイツ、パキスタン、イギリス)の42チームが登録された。
論文 参考訳（メタデータ） (2022-07-25T03:41:32Z) - Development of Fake News Model using Machine Learning through Natural
Language Processing [0.7120858995754653]
機械学習アルゴリズムとフェイクニュースの識別に使用しています。
フェイクニュース検出では、単純な分類が完全に正しいわけではない。
機械学習とテキストベースの処理を統合することで、偽ニュースを検出することができる。
論文 参考訳（メタデータ） (2022-01-19T09:26:15Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。
本稿では,更新ルール全体を検出するメタラーニング手法を提案する。
これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文 参考訳（メタデータ） (2020-07-17T07:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。