論文の概要: What Signals Really Matter for Misinformation Tasks? Evaluating Fake-News Detection and Virality Prediction under Real-World Constraints
- arxiv url: http://arxiv.org/abs/2512.02552v1
- Date: Tue, 02 Dec 2025 09:24:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.801843
- Title: What Signals Really Matter for Misinformation Tasks? Evaluating Fake-News Detection and Virality Prediction under Real-World Constraints
- Title(参考訳): 誤報処理に重要な信号は何か? : 実世界の制約下での偽ニュースの検出と正当性予測の評価
- Authors: Francesco Paolo Savatteri, Chahan Vidal-Gorène, Florian Cafiero,
- Abstract要約: 本稿では,偽ニュース検出とバイラル性予測という,オンライン誤報に関する2つの実践的課題について検討する。
テキストコンテンツだけでは偽ニュース検出の強力な差別化要因であることを示す。
本稿では,現場に現実的に影響を及ぼす評価設計や報告制約の影響について論じる。
- 参考スコア(独自算出の注目度): 0.08496348835248901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an evaluation-driven study of two practical tasks regarding online misinformation: (i) fake-news detection and (ii) virality prediction in the context of operational settings, with the necessity for rapid reaction. Using the EVONS and FakeNewsNet datasets, we compare textual embeddings (RoBERTa; with a control using Mistral) against lightweight numeric features (timing, follower counts, verification, likes) and sequence models (GRU, gating architectures, Transformer encoders). We show that textual content alone is a strong discriminator for fake-news detection, while numeric-only pipelines remain viable when language models are unavailable or compute is constrained. Virality prediction is markedly harder than fake-news detection and is highly sensitive to label construction; in our setup, a median-based ''viral'' split (<50 likes) is pragmatic but underestimates real-world virality, and time-censoring for engagement features is desirable yet difficult under current API limits. Dimensionality-reduction analyses suggest non-linear structure is more informative for virality than for fake-news detection (t-SNE > PCA on numeric features). Swapping RoBERTa for Mistral embeddings yields only modest deltas, leaving conclusions unchanged. We discuss implications for evaluation design and report reproducibility constraints that realistically affect the field. We release splits and code where possible and provide guidance for metric selection.
- Abstract(参考訳): オンライン誤報に関する2つの実践的課題を評価主導で検討する。
(i)偽ニュース検出及び偽ニュース検出
(II) 迅速な反応を必要とする操作条件の文脈におけるウイルス性予測
EVONSとFakeNewsNetデータセットを使用して、テキスト埋め込み(RoBERTa; Mistralを使った制御)と軽量な数値機能(タイミング、フォロワー数、検証、等)とシーケンスモデル(GRU、ゲーティングアーキテクチャ、トランスフォーマーエンコーダ)を比較します。
テキストコンテンツだけでは偽ニュース検出の強力な差別化要因であり、一方、言語モデルが利用できない場合や計算が制約された場合、数値のみのパイプラインは引き続き有効であることを示す。
私たちの設定では、中央値の 'viral' 分割 (50 likes) は実用的ですが、現実のバイラル性を過小評価しています。
非直線構造は、偽ニュース検出(t-SNE > PCA on numeric features)よりもバイラル性に有益であることが示唆された。
Mistral 埋め込みに対する RoBERTa のスワッピングは穏やかなデルタしか得られず、結論は変わらない。
本稿では,現場に現実的に影響を及ぼす評価設計と報告再現性制約について論じる。
可能な限り分割とコードをリリースし、メトリクス選択のためのガイダンスを提供します。
関連論文リスト
- Seeing the Unseen: Towards Zero-Shot Inspection for Wind Turbine Blades using Knowledge-Augmented Vision Language Models [10.230967860299504]
本稿では,ゼロショット指向の検査フレームワークを提案し,視覚言語モデルとRetrieval-Augmented Generationを統合した。
技術ドキュメント、代表参照画像、ドメイン固有のガイドラインを含むマルチモーダル知識ベースを構築する。
各種損傷カテゴリをカバーする30のラベル付きブレード画像上での枠組みの評価を行った。
論文 参考訳(メタデータ) (2025-10-26T23:19:28Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。
欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。
このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
論文 参考訳(メタデータ) (2025-09-11T07:07:11Z) - Are You Sure You're Positive? Consolidating Chain-of-Thought Agents with Uncertainty Quantification for Aspect-Category Sentiment Analysis [4.14197005718384]
データセットのアノテーションに必要な時間とリソースが限られている場合、ゼロショット設定で大きな言語モデルを活用することは有益である、と我々は主張する。
本稿では,大規模言語モデルのトークンレベルの不確実性スコアを活用することで,複数のチェーンオブ思考エージェントを組み合わせる新しい手法を提案する。
論文 参考訳(メタデータ) (2025-08-24T08:51:16Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。