論文の概要: A (More) Realistic Evaluation Setup for Generalisation of Community Models on Malicious Content Detection

• arxiv url: http://arxiv.org/abs/2404.01822v1
• Date: Tue, 2 Apr 2024 10:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:59:04.334755
• Title: A (More) Realistic Evaluation Setup for Generalisation of Community Models on Malicious Content Detection
• Title（参考訳）: 悪意コンテンツ検出におけるコミュニティモデルの一般化のための実例評価セット
• Authors: Ivo Verhoeven, Pushkar Mishra, Rahel Beloch, Helen Yannakoudakis, Ekaterina Shutova,
• Abstract要約: 本稿では,本手法を用いたモデル一般化のための新しい評価手法を提案する。 提案した数ショットのサブグラフを用いて学習したグラフメタラーナは、インダクティブセットアップにおいて標準コミュニティモデルより優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 18.767263384995434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Community models for malicious content detection, which take into account the context from a social graph alongside the content itself, have shown remarkable performance on benchmark datasets. Yet, misinformation and hate speech continue to propagate on social media networks. This mismatch can be partially attributed to the limitations of current evaluation setups that neglect the rapid evolution of online content and the underlying social graph. In this paper, we propose a novel evaluation setup for model generalisation based on our few-shot subgraph sampling approach. This setup tests for generalisation through few labelled examples in local explorations of a larger graph, emulating more realistic application settings. We show this to be a challenging inductive setup, wherein strong performance on the training graph is not indicative of performance on unseen tasks, domains, or graph structures. Lastly, we show that graph meta-learners trained with our proposed few-shot subgraph sampling outperform standard community models in the inductive setup. We make our code publicly available.
• Abstract（参考訳）: 悪意のあるコンテンツ検出のためのコミュニティモデルは、ソーシャルグラフからコンテンツ自体のコンテキストを考慮に入れ、ベンチマークデータセットで顕著なパフォーマンスを示している。 しかし、偽情報やヘイトスピーチがソーシャルメディア上で拡散し続けている。 このミスマッチは、オンラインコンテンツと基礎となるソーシャルグラフの急速な進化を無視した、現在の評価設定の限界に起因する可能性がある。 本稿では,本手法を用いたモデル一般化のための新しい評価手法を提案する。 この設定テストは、より現実的なアプリケーション設定をエミュレートして、より大きなグラフの局所的な探索でラベル付けされた例をほとんど含まない。 トレーニンググラフの強いパフォーマンスは、目に見えないタスクやドメイン、あるいはグラフ構造のパフォーマンスを示すものではない。 最後に,提案した数ショットのサブグラフを用いて学習したグラフメタラーが,インダクティブ・セットアップにおいて標準コミュニティモデルより優れていたことを示す。 コードを公開しています。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Temporal graph models fail to capture global temporal dynamics [0.43512163406552007]
  我々は「最近普及しているノード」の自明な最適化のないベースラインを提案する。 本研究では, 時間変動が強いデータセットに対して, 標準負サンプリング評価が不適当であることを示す。 この結果から,時間グラフネットワークアーキテクチャは,重要なグローバルダイナミクスを持つ問題における使用法を深く再考する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-09-27T15:36:45Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• PRODIGY: Enabling In-context Learning Over Graphs [112.19056551153454]
  コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。 ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
  論文  参考訳（メタデータ） (2023-05-21T23:16:30Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• A Graph-Enhanced Click Model for Web Search [67.27218481132185]
  ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。 セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
  論文  参考訳（メタデータ） (2022-06-17T08:32:43Z)
• Self-Supervised Representation Learning via Latent Graph Prediction [41.64774038444827]
  グラフニューラルネットワークの自己教師付き学習(SSL)は、ラベルのないデータを活用するための有望な方法として浮上している。 ラグラフ(LaGraph)は、遅延グラフ予測に基づく理論的に基礎付けられた予測型SSLフレームワークである。 実験結果から,LaGraphの性能向上と,グラフレベルとノードレベルの両方のタスクにおけるトレーニングサンプルサイズ削減に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2022-02-16T21:10:33Z)
• Scaling Knowledge Graph Embedding Models [12.757685697180946]
  本稿では,リンク予測のための知識グラフ埋め込みモデルの学習方法を提案する。 GNNベースの知識グラフ埋め込みモデルのスケーリングソリューションは、ベンチマークデータセットの16倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2022-01-08T08:34:52Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Quantifying Challenges in the Application of Graph Representation Learning [0.0]
  私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。 実世界のグラフ特性に関する表現力を評価する。 GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-18T03:19:43Z)
• Benchmarking Network Embedding Models for Link Prediction: Are We Making Progress? [84.43405961569256]
  我々はリンク予測のためのネットワーク埋め込み手法の最先端について光を当てた。 私たちは、一貫した評価パイプラインを使用して、過去数年間でわずかに進歩しただけであることを示しています。 我々は、標準化された評価ツールがこの状況を修復し、この分野の将来的な進歩を促進することができると論じている。
  論文  参考訳（メタデータ） (2020-02-25T16:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。