論文の概要: Assessing the Performance of AI Models in Misinformation Detection Using Predefined Social Noise Constructs
- arxiv url: http://arxiv.org/abs/2610.17469v1
- Date: Mon, 12 Oct 2026 22:31:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.466377
- Title: Assessing the Performance of AI Models in Misinformation Detection Using Predefined Social Noise Constructs
- Title(参考訳): 社会的騒音構造を用いた誤情報検出におけるAIモデルの性能評価
- Abstract要約: ソーシャルメディアプラットフォームは膨大な量のユーザー生成コンテンツを生成し、しばしば意味のある会話を曖昧にします。
既存の誤報検出法は主に事実検証に重点を置いている。
本研究では、6つのテキストベースモデルとグラフニューラルネットワーク(GNN)の性能評価を行い、誤情報の影響を緩和する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Social media platforms generate vast volumes of user-generated content that often obscure meaningful discourse, a phenomenon conceptualized as social noise. While existing misinformation detection methods primarily focus on factual verification, they largely overlook the role of social noise in amplifying misinformation. This study assesses the performance of six text-based models and a graph neural network (GNN) in mitigating the effects of misinformation using predefined social noise constructs. The dataset consists of 500,000 tweets collected from the X platform using the Ukraine hashtag during the Russia-Ukraine conflict from March 2024 to March 2025. Advanced machine learning models achieve strong performance, with accuracies ranging from 79.94% to 97.17%. RoBERTa demonstrates the highest performance, with an accuracy of 97.17%, Cohen's kappa of 0.9660, MCC of 0.9660, and AUC of 0.9977. The GNN achieves an accuracy of 64.52% and an AUC of 0.899, demonstrating performance above random-chance classification by exploiting the relational structure between tweets. All text-based models achieve kappa values greater than 0.75, indicating substantial overall agreement. Explainable AI analysis using LIME reveals that 89.6% of predictive weight is attributed to contextual features rather than isolated keywords. The findings highlight that integrating social noise into AI pipelines enhances misinformation detection and supports more effective mitigation strategies in large-scale social media environments.
- Abstract(参考訳): ソーシャルメディアプラットフォームは膨大な量のユーザー生成コンテンツを生成しており、社会ノイズとして概念化される現象であるしばしば意味のある会話を曖昧にしている。
既存の誤報検出法は主に事実検証に重点を置いているが、誤報の増幅における社会的ノイズの役割は概ね見過ごされている。
本研究では、6つのテキストベースモデルとグラフニューラルネットワーク(GNN)の性能を評価する。
このデータセットは、2024年3月から2025年3月までのロシアとウクライナの紛争の間、ウクライナのハッシュタグを使ってXプラットフォームから収集された50万のツイートで構成されている。
高度な機械学習モデルは、79.94%から97.17%の範囲で強力なパフォーマンスを達成する。
RoBERTaの精度は97.17%、コーエンのカッパは0.9660、MCCは0.9660、AUCは0.9977である。
GNNは64.52%の精度と0.899のAUCを達成し、ツイート間の関係構造を利用してランダムチャンス分類以上のパフォーマンスを示す。
すべてのテキストベースのモデルは0.75以上のカッパ値を達成する。
LIMEを用いた説明可能なAI分析によると、予測重量の89.6%は、孤立したキーワードではなく、文脈的特徴によるものである。
その結果、AIパイプラインにソーシャルノイズを統合することで、誤情報の検出が促進され、大規模ソーシャルメディア環境におけるより効果的な緩和戦略がサポートされることが明らかになった。
関連論文リスト
- Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。
モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。
木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
論文 参考訳(メタデータ) (2025-12-20T23:08:18Z) - Efficient Hate Speech Detection: Evaluating 38 Models from Traditional Methods to Transformers [0.0]
本研究は,6.5Kから451Kまでのデータセットにわたるヘイトスピーチ検出における38のモデル構成を評価する。
以上の結果から,変換器,特にRoBERTaは精度が高く,F1スコアは90%を超えていることがわかった。
論文 参考訳(メタデータ) (2025-09-14T21:17:04Z) - VISION: Robust and Interpretable Code Vulnerability Detection Leveraging Counterfactual Augmentation [6.576811224645293]
グラフニューラルネットワーク(GNN)は、構造的および論理的コード関係をデータ駆動で学習することができる。
GNNは表面的なコード類似性から'spurious'相関を学習することが多い。
我々は、VISIONと呼ばれる堅牢で解釈可能な脆弱性検出のための統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-26T11:20:39Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳(メタデータ) (2025-07-12T01:58:04Z) - So-Fake: Benchmarking and Explaining Social Media Image Forgery Detection [75.79507634008631]
So-Fake-Setは、200万以上の高品質な画像、多様な生成源、35の最先端生成モデルを用いて合成された画像を備えたソーシャルメディア指向のデータセットである。
本稿では,高精度な偽造検出,高精度な位置推定,解釈可能な視覚論理による説明可能な推論に強化学習を利用する高度な視覚言語フレームワークであるSo-Fake-R1を提案する。
論文 参考訳(メタデータ) (2025-05-24T11:53:35Z) - Enhancing IoT Cyber Attack Detection in the Presence of Highly Imbalanced Data [0.0]
本研究では、ハイブリッドサンプリング技術を用いて、IoT領域のデータ不均衡検出精度を向上させる。
サイバー攻撃の分類に関して,複数の機械学習モデルの性能を評価する。
全体として、この研究は、ハイブリッドサンプリングの価値と堅牢なモデルと機能選択を組み合わせることで、IoTセキュリティを著しく改善することを示している。
論文 参考訳(メタデータ) (2025-05-15T14:02:48Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳(メタデータ) (2025-02-21T20:29:02Z) - Assessing Text Classification Methods for Cyberbullying Detection on Social Media Platforms [3.235558067839701]
本研究は,サイバーバブル検出領域における既存のテキスト分類手法を適応し,評価することを目的とする。
BERT、RoBERTa、XLNet、DistilBERT、GPT-2.0など、大規模な言語モデルの活用と評価に重点を置いている。
その結果,BERTは性能,時間効率,計算資源のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2024-12-27T21:22:28Z) - Decoding the Silent Majority: Inducing Belief Augmented Social Graph
with Large Language Model for Response Forecasting [74.68371461260946]
SocialSenseは、既存のソーシャルネットワーク上に信念中心のグラフを誘導するフレームワークであり、グラフベースの伝播によって社会的ダイナミクスを捉える。
本手法は,ゼロショット設定と教師あり設定の両方に対する実験的な評価において,既存の最先端技術を超えている。
論文 参考訳(メタデータ) (2023-10-20T06:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。