論文の概要: Can tweets predict article retractions? A comparison between human and LLM labelling

• arxiv url: http://arxiv.org/abs/2403.16851v2
• Date: Mon, 09 Dec 2024 16:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:43.479038
• Title: Can tweets predict article retractions? A comparison between human and LLM labelling
• Title（参考訳）: ツイートは記事のリトラクションを予測するか? : 人間とLLMのラベリングの比較
• Authors: Er-Te Zheng, Hui-Zhen Fu, Mike Thelwall, Zhichao Fang,
• Abstract要約: 本研究は、Twitterがリトラクション記事に言及していることがリトラクション記事の潜在的な問題を引き起こすかどうかを調査する。 我々は、504の記事に関連付けられた4,354件のTwitter言及のデータセットを分析した。
• 参考スコア（独自算出の注目度）: 3.5120128009307243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quickly detecting problematic research articles is crucial to safeguarding the integrity of scientific research. This study explores whether Twitter mentions of retracted articles can signal potential problems with the articles prior to their retraction, potentially serving as an early warning system for scholars. To investigate this, we analysed a dataset of 4,354 Twitter mentions associated with 504 retracted articles. The effectiveness of Twitter mentions in predicting article retractions was evaluated by both manual and Large Language Model (LLM) labelling. Manual labelling results indicated that 25.7% of tweets signalled problems before retraction. Using the manual labelling results as the baseline, we found that LLMs (GPT-4o-mini, Gemini 1.5 Flash, and Claude-3.5-Haiku) outperformed lexicon-based sentiment analysis tools (e.g., TextBlob) in detecting potential problems, suggesting that automatic detection of problematic articles from social media using LLMs is technically feasible. Nevertheless, since only a small proportion of retracted articles (11.1%) were criticised on Twitter prior to retraction, such automatic systems would detect only a minority of problematic articles. Overall, this study offers insights into how social media data, coupled with emerging generative AI techniques, can support research integrity.
• Abstract（参考訳）: 科学的研究の完全性を守るためには、問題のある研究論文を迅速に検出することが不可欠である。 この研究は、Twitterが削除記事に言及していることが、削除前の記事に潜在的な問題を引き起こす可能性があるかどうかを調査し、学者の早期警告システムとして機能する可能性がある。 これを調べるために、504件の削除記事に関連する4,354件のTwitter言及のデータセットを分析した。 記事のリトラクションの予測におけるTwitterの言及の有効性は、手動と大規模言語モデル(LLM)のラベルリングによって評価された。 手動ラベリングの結果、25.7%のツイートが削除前に問題を引き起こした。 手動ラベリングの結果をベースラインとして,LLM(GPT-4o-mini, Gemini 1.5 Flash, Claude-3.5-Haiku)は,潜在的な問題を検出する上で,レキシコンベースの感情分析ツール(例: TextBlob)よりも優れており,LLMを用いたソーシャルメディアからの問題記事の自動検出が技術的に可能であることが示唆された。 それにもかかわらず、削除された記事のごく一部(11.1%)がTwitter上で批判されたため、このような自動システムは問題のある記事のごく一部だけを検出することになる。 全体として、この研究は、ソーシャルメディアデータと新たな生成AI技術が組み合わさって、研究の整合性をサポートする方法についての洞察を提供する。

関連論文リスト

• Eroding the Truth-Default: A Causal Analysis of Human Susceptibility to Foundation Model Hallucinations and Disinformation in the Wild [47.03825808787752]
  フェイクニュースの親しみ」は、被曝が人間の差別者に対する敵対的訓練として機能する可能性を示唆する中間者候補として出現する。 これらの結果から,「プレバンキング」介入は,人口層区分よりも認知源モニタリングを対象とすべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-01-30T11:49:58Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
  我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。 攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。 実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
  論文  参考訳（メタデータ） (2025-07-17T18:33:50Z)
• When Detection Fails: The Power of Fine-Tuned Models to Generate Human-Like Social Media Text [13.14749943120523]
  ソーシャルメディアは、オンライン・インフルエンス・キャンペーンにおいて重要な攻撃源となっている。 我々は、オープンソース、クローズドソース、微調整されたLLMの組み合わせから、505,159のAI生成ソーシャルメディアポストのデータセットを作成します。 典型的な研究仮定の下ではポストを検出できるが、攻撃者が細調整されたモデルを公開しないというより現実的な仮定の下では、検出可能性は劇的に低下する。
  論文  参考訳（メタデータ） (2025-06-11T17:51:28Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Vulnerability of LLMs to Vertically Aligned Text Manipulations [108.6908427615402]
  大規模言語モデル(LLM)は、テキスト分類タスクの実行に非常に効果的である。 エンコーダベースのモデルのために単語を垂直に整列させるような入力形式を変更することは、テキスト分類タスクにおいてかなり精度を低下させる。 デコーダベースのLLMは、垂直フォーマットのテキスト入力と同じような脆弱性を示すか?
  論文  参考訳（メタデータ） (2024-10-26T00:16:08Z)
• Public interest in science or bots? Selective amplification of scientific articles on Twitter [1.1606619391009658]
  Twitter APIとBotometer APIを通じて収集されたデータと組み合わせて、Altmetricデータセットを使用しました。 論文の異なる特徴に基づいて,ボット活動の可能性について分析した。 このデータセットを使用して機械学習モデルをトレーニングし、任意の記事において可能なボットアクティビティを特定しました。
  論文  参考訳（メタデータ） (2024-09-28T07:48:44Z)
• Modes of Analyzing Disinformation Narratives With AI/ML/Text Mining to Assist in Mitigating the Weaponization of Social Media [0.8287206589886879]
  本稿では,ソーシャルメディアにおける悪意あるコミュニケーションを捕捉・監視するための定量的モードの必要性を明らかにする。 ソーシャル・ネットワークを利用したメッセージの「ウェポン化」が意図的に行われており、州が後援し、私的に運営される政治的指向のエンティティも含む。 FacebookやX/Twitterのような主要プラットフォームにモデレーションを導入しようとする試みにもかかわらず、完全にモデレートされていないスペースを提供する代替ソーシャルネットワークが現在確立されている。
  論文  参考訳（メタデータ） (2024-05-25T00:02:14Z)
• Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines [2.0330684186105805]
  本研究では、誤解を招くニュースの見出しと誤解を招くニュースの見出しを識別する上で、LLM(Large Language Models)の有効性について検討する。 解析の結果,ChatGPT-4の精度は良好であった。
  論文  参考訳（メタデータ） (2024-05-06T04:06:45Z)
• A survey of recent methods for addressing AI fairness and bias in biomedicine [48.46929081146017]
  人工知能システムは、人種や性別に基づくような社会的不平等を永続するか、偏見を示すことができる。 バイオメディカル自然言語処理 (NLP) やコンピュータビジョン (CV) の分野での様々な脱バイアス法に関する最近の論文を調査した。 我々は,2018年1月から2023年12月にかけて,複数のキーワードの組み合わせを用いて,PubMed,ACMデジタルライブラリ,IEEE Xploreに関する文献検索を行った。 バイオメディシンに応用可能な一般領域からの他の方法について検討し, バイアスに対処し, 公平性を向上する方法について検討した。
  論文  参考訳（メタデータ） (2024-02-13T06:38:46Z)
• Efficacy of Utilizing Large Language Models to Detect Public Threat Posted Online [0.0]
  本稿では,大規模言語モデル(LLM)を用いてオンライン投稿された公的な脅威を検出することの有効性について検討する。 データ収集ツールは、人気の高い韓国のオンラインコミュニティから投稿を収集するために開発された。 GPT-4は総じて97.9%の非脅威と100%の脅威の精度で性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T16:42:02Z)
• Topological Data Mapping of Online Hate Speech, Misinformation, and General Mental Health: A Large Language Model Based Study [6.803493330690884]
  機械学習と大規模言語モデルの最近の進歩は、そのような分析を可能にした。 本研究では,ソーシャルメディアサイトReddit上で,慎重に選択されたコミュニティから何千もの投稿を収集した。 各種コミュニティにおけるヘイトスピーチ/誤情報の役割を理解するため,埋め込みに基づく各種機械学習分類を行った。
  論文  参考訳（メタデータ） (2023-09-22T15:10:36Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
  ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。 この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。 我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-05-23T16:40:07Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark [62.997667081978825]
  本稿では,交通事故における傷害の重大性を予測するために,機械学習アルゴリズムの性能を評価する新しいデータセットを提案する。 データセットは、英国運輸省から公開されているデータセットを集約することで作成される。
  論文  参考訳（メタデータ） (2022-05-20T21:15:26Z)
• What goes on inside rumour and non-rumour tweets and their reactions: A Psycholinguistic Analyses [58.75684238003408]
  ソーシャルメディアのテキストの心理言語学的分析は、誤情報を緩和するために意味のある結論を導くのに不可欠である。 本研究は,様々な事象に関する噂の深い心理言語学的分析を行うことによって貢献する。
  論文  参考訳（メタデータ） (2021-11-09T07:45:11Z)
• A PubMedBERT-based Classifier with Data Augmentation Strategy for Detecting Medication Mentions in Tweets [2.539568419434224]
  Twitterは毎日大量のユーザー生成テキスト(ツイート)を公開している。 エンティティ認識(NER)は、ツイートデータにいくつかの特別な課題を提示します。 本稿では,複数のデータ拡張手法を組み合わせたPubMedBERTベースの分類器について検討する。 提案手法はF1スコアが0.762であり, 平均値よりもかなり高い値を示した。
  論文  参考訳（メタデータ） (2021-11-03T14:29:24Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Misleading the Covid-19 vaccination discourse on Twitter: An exploratory study of infodemic around the pandemic [0.45593531937154413]
  我々は7ヶ月(2020年9月～2021年3月)のコビッドウイルスワクチン接種に関連する中規模のツイートコーパス(20万件)を収集する。 Transfer Learningのアプローチに従えば、事前訓練されたTransformerベースのXLNetモデルを使用して、ツイートをミスリーディングまたは非ミスリーディングに分類する。 我々は、自然に誤解を招くコーパスのツイートの特徴と非誤解を招くツイートの特徴を調査・対比するためにこの手法を構築した。 いくつかのMLモデルは、最大90%の精度で予測に使用され、各特徴の重要性は、SHAP Explainable AI (X)を用いて説明される。
  論文  参考訳（メタデータ） (2021-08-16T17:02:18Z)
• Understanding Information Spreading Mechanisms During COVID-19 Pandemic by Analyzing the Impact of Tweet Text and User Features for Retweet Prediction [6.658785818853953]
  新型コロナウイルスは世界の経済や、ほぼすべての人々の日常生活に影響を与えている。 ソーシャルメディアプラットフォームは、情報を共有できる他のユーザーと情報を共有できる。 CNNとRNNをベースとした2つのモデルを提案し、これらのモデルの性能を公開のTweetsCOV19データセットで評価する。
  論文  参考訳（メタデータ） (2021-05-26T15:55:58Z)
• Claim Detection in Biomedical Twitter Posts [11.335643770130238]
  生体医学に関する誤った情報は特に危険である。 我々は、この研究ギャップを埋め、暗黙的かつ明示的なバイオメディカルクレームのために1200ツイートのコーパスに注釈を付けることを目指している。 クレームを含むツイートを自動的に検出するベースラインモデルを開発。
  論文  参考訳（メタデータ） (2021-04-23T14:45:31Z)
• Combining exogenous and endogenous signals with a semi-supervised co-attention network for early detection of COVID-19 fake tweets [14.771202995527315]
  新型コロナウイルス(COVID-19)の間、誤報のあるツイートは早期に警告され、中立化され、被害を軽減する必要がある。 偽ニュースを早期に検出する既存の方法のほとんどは、大きなラベル付きツイートに十分な伝搬情報を持っていると仮定している。 我々は、ツイートに関連する内因性および内因性信号を活用する新しい早期検出モデルENDEMICを提案する。
  論文  参考訳（メタデータ） (2021-04-12T10:01:44Z)
• Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
  我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。 敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。 ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:13:15Z)
• Exploratory Analysis of Covid-19 Tweets using Topic Modeling, UMAP, and DiGraphs [36.33347149799959]
  本稿では,Covid19 ツイートのトピック,キーワード,特徴,情報拡散の速度,ネットワーク行動の5つの異なる評価手法について述べる。 米国のケースに特有なトピックは、ホワイトハウスのコロナウイルス対策部隊のブリーフィングの後すぐに上昇し始めるだろう。 この分析の最も単純な特徴の1つは、正規表現のような初期記述的手法がハイレベルなテーマをうまく識別できることである。
  論文  参考訳（メタデータ） (2020-05-06T19:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。