論文の概要: Can tweets predict article retractions? A comparison between human and LLM labelling

• arxiv url: http://arxiv.org/abs/2403.16851v2
• Date: Mon, 09 Dec 2024 16:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:50.239846
• Title: Can tweets predict article retractions? A comparison between human and LLM labelling
• Title（参考訳）: ツイートは記事のリトラクションを予測するか? : 人間とLLMのラベリングの比較
• Authors: Er-Te Zheng, Hui-Zhen Fu, Mike Thelwall, Zhichao Fang,
• Abstract要約: 本研究は、Twitterがリトラクション記事に言及していることがリトラクション記事の潜在的な問題を引き起こすかどうかを調査する。 我々は、504の記事に関連付けられた4,354件のTwitter言及のデータセットを分析した。
• 参考スコア（独自算出の注目度）: 3.5120128009307243
• License:
• Abstract: Quickly detecting problematic research articles is crucial to safeguarding the integrity of scientific research. This study explores whether Twitter mentions of retracted articles can signal potential problems with the articles prior to their retraction, potentially serving as an early warning system for scholars. To investigate this, we analysed a dataset of 4,354 Twitter mentions associated with 504 retracted articles. The effectiveness of Twitter mentions in predicting article retractions was evaluated by both manual and Large Language Model (LLM) labelling. Manual labelling results indicated that 25.7% of tweets signalled problems before retraction. Using the manual labelling results as the baseline, we found that LLMs (GPT-4o-mini, Gemini 1.5 Flash, and Claude-3.5-Haiku) outperformed lexicon-based sentiment analysis tools (e.g., TextBlob) in detecting potential problems, suggesting that automatic detection of problematic articles from social media using LLMs is technically feasible. Nevertheless, since only a small proportion of retracted articles (11.1%) were criticised on Twitter prior to retraction, such automatic systems would detect only a minority of problematic articles. Overall, this study offers insights into how social media data, coupled with emerging generative AI techniques, can support research integrity.
• Abstract（参考訳）: 科学的研究の完全性を守るためには、問題のある研究論文を迅速に検出することが不可欠である。 この研究は、Twitterが削除記事に言及していることが、削除前の記事に潜在的な問題を引き起こす可能性があるかどうかを調査し、学者の早期警告システムとして機能する可能性がある。 これを調べるために、504件の削除記事に関連する4,354件のTwitter言及のデータセットを分析した。 記事のリトラクションの予測におけるTwitterの言及の有効性は、手動と大規模言語モデル(LLM)のラベルリングによって評価された。 手動ラベリングの結果、25.7%のツイートが削除前に問題を引き起こした。 手動ラベリングの結果をベースラインとして,LLM(GPT-4o-mini, Gemini 1.5 Flash, Claude-3.5-Haiku)は,潜在的な問題を検出する上で,レキシコンベースの感情分析ツール(例: TextBlob)よりも優れており,LLMを用いたソーシャルメディアからの問題記事の自動検出が技術的に可能であることが示唆された。 それにもかかわらず、削除された記事のごく一部(11.1%)がTwitter上で批判されたため、このような自動システムは問題のある記事のごく一部だけを検出することになる。 全体として、この研究は、ソーシャルメディアデータと新たな生成AI技術が組み合わさって、研究の整合性をサポートする方法についての洞察を提供する。

関連論文リスト

• Vulnerability of LLMs to Vertically Aligned Text Manipulations [108.6908427615402]
  大規模言語モデル(LLM)は、テキスト分類タスクの実行に非常に効果的である。 エンコーダベースのモデルのために単語を垂直に整列させるような入力形式を変更することは、テキスト分類タスクにおいてかなり精度を低下させる。 デコーダベースのLLMは、垂直フォーマットのテキスト入力と同じような脆弱性を示すか?
  論文  参考訳（メタデータ） (2024-10-26T00:16:08Z)
• A survey of recent methods for addressing AI fairness and bias in biomedicine [48.46929081146017]
  人工知能システムは、人種や性別に基づくような社会的不平等を永続するか、偏見を示すことができる。 バイオメディカル自然言語処理 (NLP) やコンピュータビジョン (CV) の分野での様々な脱バイアス法に関する最近の論文を調査した。 我々は,2018年1月から2023年12月にかけて,複数のキーワードの組み合わせを用いて,PubMed,ACMデジタルライブラリ,IEEE Xploreに関する文献検索を行った。 バイオメディシンに応用可能な一般領域からの他の方法について検討し, バイアスに対処し, 公平性を向上する方法について検討した。
  論文  参考訳（メタデータ） (2024-02-13T06:38:46Z)
• Efficacy of Utilizing Large Language Models to Detect Public Threat Posted Online [0.0]
  本稿では,大規模言語モデル(LLM)を用いてオンライン投稿された公的な脅威を検出することの有効性について検討する。 データ収集ツールは、人気の高い韓国のオンラインコミュニティから投稿を収集するために開発された。 GPT-4は総じて97.9%の非脅威と100%の脅威の精度で性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T16:42:02Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
  ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。 この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。 我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-05-23T16:40:07Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• What goes on inside rumour and non-rumour tweets and their reactions: A Psycholinguistic Analyses [58.75684238003408]
  ソーシャルメディアのテキストの心理言語学的分析は、誤情報を緩和するために意味のある結論を導くのに不可欠である。 本研究は,様々な事象に関する噂の深い心理言語学的分析を行うことによって貢献する。
  論文  参考訳（メタデータ） (2021-11-09T07:45:11Z)
• Misleading the Covid-19 vaccination discourse on Twitter: An exploratory study of infodemic around the pandemic [0.45593531937154413]
  我々は7ヶ月(2020年9月～2021年3月)のコビッドウイルスワクチン接種に関連する中規模のツイートコーパス(20万件)を収集する。 Transfer Learningのアプローチに従えば、事前訓練されたTransformerベースのXLNetモデルを使用して、ツイートをミスリーディングまたは非ミスリーディングに分類する。 我々は、自然に誤解を招くコーパスのツイートの特徴と非誤解を招くツイートの特徴を調査・対比するためにこの手法を構築した。 いくつかのMLモデルは、最大90%の精度で予測に使用され、各特徴の重要性は、SHAP Explainable AI (X)を用いて説明される。
  論文  参考訳（メタデータ） (2021-08-16T17:02:18Z)
• Claim Detection in Biomedical Twitter Posts [11.335643770130238]
  生体医学に関する誤った情報は特に危険である。 我々は、この研究ギャップを埋め、暗黙的かつ明示的なバイオメディカルクレームのために1200ツイートのコーパスに注釈を付けることを目指している。 クレームを含むツイートを自動的に検出するベースラインモデルを開発。
  論文  参考訳（メタデータ） (2021-04-23T14:45:31Z)
• Combining exogenous and endogenous signals with a semi-supervised co-attention network for early detection of COVID-19 fake tweets [14.771202995527315]
  新型コロナウイルス(COVID-19)の間、誤報のあるツイートは早期に警告され、中立化され、被害を軽減する必要がある。 偽ニュースを早期に検出する既存の方法のほとんどは、大きなラベル付きツイートに十分な伝搬情報を持っていると仮定している。 我々は、ツイートに関連する内因性および内因性信号を活用する新しい早期検出モデルENDEMICを提案する。
  論文  参考訳（メタデータ） (2021-04-12T10:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。