論文の概要: It's about Time: Rethinking Evaluation on Rumor Detection Benchmarks using Chronological Splits

• arxiv url: http://arxiv.org/abs/2302.03147v1
• Date: Mon, 6 Feb 2023 22:53:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 18:04:15.021960
• Title: It's about Time: Rethinking Evaluation on Rumor Detection Benchmarks using Chronological Splits
• Title（参考訳）: 時間に関すること:時系列分割による地震検出ベンチマークの再検討
• Authors: Yida Mu and Kalina Bontcheva and Nikolaos Aletras
• Abstract要約: ランダムスプリットの代わりに時系列を考慮した4つの一般的な噂検出ベンチマークにおいて,分類モデルの再評価を行う。 実験の結果,ランダムスプリットを用いることで,すべてのデータセットやモデルに対して予測性能を大幅に過大評価できることがわかった。 局所的な重複を最小限に抑えるために,時系列分割を用いて常に噂検出モデルを評価すべきである。
• 参考スコア（独自算出の注目度）: 27.061515030101972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New events emerge over time influencing the topics of rumors in social media. Current rumor detection benchmarks use random splits as training, development and test sets which typically results in topical overlaps. Consequently, models trained on random splits may not perform well on rumor classification on previously unseen topics due to the temporal concept drift. In this paper, we provide a re-evaluation of classification models on four popular rumor detection benchmarks considering chronological instead of random splits. Our experimental results show that the use of random splits can significantly overestimate predictive performance across all datasets and models. Therefore, we suggest that rumor detection models should always be evaluated using chronological splits for minimizing topical overlaps.
• Abstract（参考訳）: ソーシャルメディアにおける噂の話題に時間とともに新たなイベントが現れる。 現在のうわさ検出ベンチマークでは、ランダムスプリットをトレーニング、開発、テストセットとして使用する。 したがって、ランダムスプリットでトレーニングされたモデルは、時間的概念のドリフトのため、以前の未知の話題に関する噂の分類ではうまく機能しない。 本稿では,ランダムスプリットではなく時系列を考慮した4つの一般的なうわさ検出ベンチマークにおける分類モデルの再評価を行う。 実験の結果,ランダムスプリットを用いることで,すべてのデータセットやモデルに対して予測性能を大幅に過大評価できることがわかった。 したがって,話題の重なりを最小化するために,常に時系列分割を用いてうわさ検出モデルを評価するべきである。

関連論文リスト

• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Latent Feature-based Data Splits to Improve Generalisation Evaluation: A Hate Speech Detection Case Study [33.1099258648462]
  我々は、モデルが潜在空間の盲点において破滅的に失敗することを示す2つの分割変種を提示する。 解析の結果,データ分割の面面レベル特性は明らかになく,性能が低下していることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T23:49:55Z)
• Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
  理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。 本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T23:47:53Z)
• Examining the Limitations of Computational Rumor Detection Models Trained on Static Datasets [30.315424983805087]
  本稿では,コンテンツとコンテキストベースモデルのパフォーマンスギャップを詳細に評価する。 我々の経験的結果は、コンテキストベースのモデルは、まだ噂のソース投稿から得られた情報に過度に依存していることを示している。 実験結果に基づき,静的データセットにおける時間的概念ドリフトの影響を最小限に抑えるための実践的な提案を行った。
  論文  参考訳（メタデータ） (2023-09-20T18:27:19Z)
• MomentDiff: Generative Video Moment Retrieval from Random to Real [71.40038773943638]
  私たちは、MomentDiffという拡散に基づく生成フレームワークを提供しています。 MomentDiffは、ランダムなブラウジングから段階的なローカライゼーションまで、典型的な人間の検索プロセスをシミュレートする。 MomentDiffは3つの公開ベンチマークで最先端の手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-07-06T09:12:13Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Learning Sample Importance for Cross-Scenario Video Temporal Grounding [30.82619216537177]
  本稿では,時間的接地作業に特有の表面バイアスについて検討する。 そこで本研究では,Debiased Temporal Language Localizer (DebiasTLL) と呼ばれる新しい手法を提案する。 我々は、列車/テストデータが均一にソースされるクロスセサリオ時間的グラウンドリングにおいて、提案モデルを評価する。
  論文  参考訳（メタデータ） (2022-01-08T15:41:38Z)
• Evaluation of Local Explanation Methods for Multivariate Time Series Forecasting [0.21094707683348418]
  局所的解釈可能性は、モデルが特定の予測を行う理由を決定する上で重要である。 近年、AIの解釈可能性に焦点が当てられているが、時系列予測のための局所的な解釈可能性手法の研究は不足している。
  論文  参考訳（メタデータ） (2020-09-18T21:15:28Z)
• We Need to Talk About Random Splits [3.236124102160291]
  ゴーマンとベドリックは、NLP実験において標準的な分割ではなくランダム分割を使うことを主張した。 標準的な分割のようにランダムな分割は、過度に楽観的なパフォーマンス推定につながると我々は主張する。
  論文  参考訳（メタデータ） (2020-05-01T22:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。