論文の概要: Can ChatGPT predict article retraction based on Twitter mentions?

• arxiv url: http://arxiv.org/abs/2403.16851v1
• Date: Mon, 25 Mar 2024 15:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:54:11.363499
• Title: Can ChatGPT predict article retraction based on Twitter mentions?
• Title（参考訳）: ChatGPTはTwitterの言及に基づいて記事のリトラクションを予測することができるか?
• Authors: Er-Te Zheng, Hui-Zhen Fu, Zhichao Fang,
• Abstract要約: 本研究は、Twitterがリトラクション記事に言及していることがリトラクション記事の潜在的な問題を引き起こすかどうかを調査する。 記事のリトラクションの予測におけるTwitterの言及の有効性は,4つの予測方法によって評価される。
• 参考スコア（独自算出の注目度）: 0.8520624117635328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting problematic research articles timely is a vital task. This study explores whether Twitter mentions of retracted articles can signal potential problems with the articles prior to retraction, thereby playing a role in predicting future retraction of problematic articles. A dataset comprising 3,505 retracted articles and their associated Twitter mentions is analyzed, alongside 3,505 non-retracted articles with similar characteristics obtained using the Coarsened Exact Matching method. The effectiveness of Twitter mentions in predicting article retraction is evaluated by four prediction methods, including manual labelling, keyword identification, machine learning models, and ChatGPT. Manual labelling results indicate that there are indeed retracted articles with their Twitter mentions containing recognizable evidence signaling problems before retraction, although they represent only a limited share of all retracted articles with Twitter mention data (approximately 16%). Using the manual labelling results as the baseline, ChatGPT demonstrates superior performance compared to other methods, implying its potential in assisting human judgment for predicting article retraction. This study uncovers both the potential and limitation of social media events as an early warning system for article retraction, shedding light on a potential application of generative artificial intelligence in promoting research integrity.
• Abstract（参考訳）: 問題のある研究項目をタイムリーに検出することは重要な課題である。 本研究は、Twitterが記事の削除に先立って、記事の削除が潜在的な問題を引き起こすかどうかを考察し、問題のある記事の削除を予測する役割を担っている。 3,505個の抽出された記事とその関連Twitter言及からなるデータセットを、Coarsened Exact Matching法による類似特性を持つ3,505個の非抽出記事とともに分析する。 記事のリトラクションの予測におけるTwitterの言及の有効性は、手動ラベリング、キーワード識別、機械学習モデル、ChatGPTなどの4つの予測方法によって評価されている。 手動ラベリングの結果は、Twitterが言及した記事に、削除前に問題を示す明らかな証拠が含まれていることを示唆しているが、Twitterが言及した全記事(約16%)のごく一部しか表示していないことを示唆している。 手動ラベリングの結果をベースラインとして、ChatGPTは他の方法と比較して優れた性能を示し、記事の削除を予測するための人間の判断を支援する可能性を示唆している。 本研究は, 論文削除の早期警告システムとして, ソーシャルメディアイベントの可能性と限界を明らかにし, 研究の完全性を促進するために, 生成人工知能の潜在的な応用に光を当てるものである。

関連論文リスト

• Vulnerability of LLMs to Vertically Aligned Text Manipulations [108.6908427615402]
  大規模言語モデル(LLM)は、テキスト分類タスクの実行に非常に効果的である。 エンコーダベースのモデルのために単語を垂直に整列させるような入力形式を変更することは、テキスト分類タスクにおいてかなり精度を低下させる。 デコーダベースのLLMは、垂直フォーマットのテキスト入力と同じような脆弱性を示すか?
  論文  参考訳（メタデータ） (2024-10-26T00:16:08Z)
• A survey of recent methods for addressing AI fairness and bias in biomedicine [48.46929081146017]
  人工知能システムは、人種や性別に基づくような社会的不平等を永続するか、偏見を示すことができる。 バイオメディカル自然言語処理 (NLP) やコンピュータビジョン (CV) の分野での様々な脱バイアス法に関する最近の論文を調査した。 我々は,2018年1月から2023年12月にかけて,複数のキーワードの組み合わせを用いて,PubMed,ACMデジタルライブラリ,IEEE Xploreに関する文献検索を行った。 バイオメディシンに応用可能な一般領域からの他の方法について検討し, バイアスに対処し, 公平性を向上する方法について検討した。
  論文  参考訳（メタデータ） (2024-02-13T06:38:46Z)
• Efficacy of Utilizing Large Language Models to Detect Public Threat Posted Online [0.0]
  本稿では,大規模言語モデル(LLM)を用いてオンライン投稿された公的な脅威を検出することの有効性について検討する。 データ収集ツールは、人気の高い韓国のオンラインコミュニティから投稿を収集するために開発された。 GPT-4は総じて97.9%の非脅威と100%の脅威の精度で性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T16:42:02Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
  ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。 この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。 我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-05-23T16:40:07Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• What goes on inside rumour and non-rumour tweets and their reactions: A Psycholinguistic Analyses [58.75684238003408]
  ソーシャルメディアのテキストの心理言語学的分析は、誤情報を緩和するために意味のある結論を導くのに不可欠である。 本研究は,様々な事象に関する噂の深い心理言語学的分析を行うことによって貢献する。
  論文  参考訳（メタデータ） (2021-11-09T07:45:11Z)
• Misleading the Covid-19 vaccination discourse on Twitter: An exploratory study of infodemic around the pandemic [0.45593531937154413]
  我々は7ヶ月(2020年9月～2021年3月)のコビッドウイルスワクチン接種に関連する中規模のツイートコーパス(20万件)を収集する。 Transfer Learningのアプローチに従えば、事前訓練されたTransformerベースのXLNetモデルを使用して、ツイートをミスリーディングまたは非ミスリーディングに分類する。 我々は、自然に誤解を招くコーパスのツイートの特徴と非誤解を招くツイートの特徴を調査・対比するためにこの手法を構築した。 いくつかのMLモデルは、最大90%の精度で予測に使用され、各特徴の重要性は、SHAP Explainable AI (X)を用いて説明される。
  論文  参考訳（メタデータ） (2021-08-16T17:02:18Z)
• Claim Detection in Biomedical Twitter Posts [11.335643770130238]
  生体医学に関する誤った情報は特に危険である。 我々は、この研究ギャップを埋め、暗黙的かつ明示的なバイオメディカルクレームのために1200ツイートのコーパスに注釈を付けることを目指している。 クレームを含むツイートを自動的に検出するベースラインモデルを開発。
  論文  参考訳（メタデータ） (2021-04-23T14:45:31Z)
• Combining exogenous and endogenous signals with a semi-supervised co-attention network for early detection of COVID-19 fake tweets [14.771202995527315]
  新型コロナウイルス(COVID-19)の間、誤報のあるツイートは早期に警告され、中立化され、被害を軽減する必要がある。 偽ニュースを早期に検出する既存の方法のほとんどは、大きなラベル付きツイートに十分な伝搬情報を持っていると仮定している。 我々は、ツイートに関連する内因性および内因性信号を活用する新しい早期検出モデルENDEMICを提案する。
  論文  参考訳（メタデータ） (2021-04-12T10:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。