論文の概要: LMBot: Distilling Graph Knowledge into Language Model for Graph-less Deployment in Twitter Bot Detection

• arxiv url: http://arxiv.org/abs/2306.17408v3
• Date: Wed, 3 Jan 2024 05:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 16:55:40.286396
• Title: LMBot: Distilling Graph Knowledge into Language Model for Graph-less Deployment in Twitter Bot Detection
• Title（参考訳）: LMBot: Twitterボット検出におけるグラフレスデプロイメントのための言語モデルへのグラフ知識の注入
• Authors: Zijian Cai, Zhaoxuan Tan, Zhenyu Lei, Zifeng Zhu, Hongrui Wang, Qinghua Zheng, Minnan Luo
• Abstract要約: グラフニューラルネットワーク(GNN)の知識を言語モデル(LM)に抽出する新しいボット検出フレームワークLMBotを提案する。 グラフベースのデータセットでは、LMの出力はGNNの入力機能を提供し、ボットの検出と知識の抽出を反復的かつ相互に強化するプロセスでLMに戻すことができる。 実験の結果,LMBotは4つのTwitterボット検出ベンチマークで最先端のパフォーマンスを実現していることがわかった。
• 参考スコア（独自算出の注目度）: 41.043975659303435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As malicious actors employ increasingly advanced and widespread bots to disseminate misinformation and manipulate public opinion, the detection of Twitter bots has become a crucial task. Though graph-based Twitter bot detection methods achieve state-of-the-art performance, we find that their inference depends on the neighbor users multi-hop away from the targets, and fetching neighbors is time-consuming and may introduce bias. At the same time, we find that after finetuning on Twitter bot detection, pretrained language models achieve competitive performance and do not require a graph structure during deployment. Inspired by this finding, we propose a novel bot detection framework LMBot that distills the knowledge of graph neural networks (GNNs) into language models (LMs) for graph-less deployment in Twitter bot detection to combat the challenge of data dependency. Moreover, LMBot is compatible with graph-based and graph-less datasets. Specifically, we first represent each user as a textual sequence and feed them into the LM for domain adaptation. For graph-based datasets, the output of LMs provides input features for the GNN, enabling it to optimize for bot detection and distill knowledge back to the LM in an iterative, mutually enhancing process. Armed with the LM, we can perform graph-less inference, which resolves the graph data dependency and sampling bias issues. For datasets without graph structure, we simply replace the GNN with an MLP, which has also shown strong performance. Our experiments demonstrate that LMBot achieves state-of-the-art performance on four Twitter bot detection benchmarks. Extensive studies also show that LMBot is more robust, versatile, and efficient compared to graph-based Twitter bot detection methods.
• Abstract（参考訳）: 悪役が悪質な情報を拡散し、世論を操作するためにますます進歩し、広く普及しているボットを雇う中、twitterボットの検出は重要な課題となっている。 グラフベースのtwitterボット検出手法は最先端のパフォーマンスを実現していますが、その推論はターゲットから複数ホップ離れた近隣のユーザに依存しており、隣人のフェッチには時間がかかり、バイアスが生じる可能性があります。 同時に、twitterボット検出を微調整した後、事前トレーニングされた言語モデルが競合性能を達成し、デプロイ時にグラフ構造を必要としないことも分かりました。 この発見に触発されて,グラフニューラルネットワーク(gnns)の知識を言語モデル(lms)に抽出し,twitterボット検出にグラフレスデプロイすることにより,データ依存の課題に対処した,新たなボット検出フレームワークlmbotを提案する。 さらに、LMBotはグラフベースおよびグラフレスデータセットと互換性がある。 具体的には、まず各ユーザをテキストシーケンスとして表現し、それらをLMに入力してドメイン適応する。 グラフベースのデータセットでは、LMの出力はGNNの入力機能を提供し、ボットの検出と知識の抽出を反復的かつ相互に強化するプロセスでLMに戻すことができる。 LMと組み合わされたグラフレス推論は、グラフデータの依存性を解消し、バイアス問題をサンプリングする。 グラフ構造を持たないデータセットの場合、GNNをMPPで置き換えるだけで、性能も高い。 実験の結果,LMBotは4つのTwitterボット検出ベンチマークで最先端のパフォーマンスを達成した。 大規模な研究により、LMBotはグラフベースのTwitterボット検出方法よりも堅牢で、汎用的で、効率的であることが示されている。

関連論文リスト

• A Graph Neural Architecture Search Approach for Identifying Bots in Social Media [6.811604745219853]
  グラフ畳み込みネットワーク(RGC)に適したNAS(Neural Architecture Search)技術の実装について紹介する。 本モデルでは,ユーザ関係とメタデータの両方を組み込んだグラフを構築した上で,DFG-NAS を用いて RGC の最適構成を自動的に検索する。 検索期間中に最高性能の5つのアーキテクチャを調査し,85.7%の精度を達成し,最先端のモデルを上回った。
  論文  参考訳（メタデータ） (2024-11-25T11:10:16Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Multimodal Detection of Bots on X (Twitter) using Transformers [6.390468088226495]
  本稿では,ソーシャルメディアにおけるボット検出手法を提案する。 ユーザ記述フィールドと3つのチャネルの画像のみを使用します。 Cresci'17とTwiBot-20データセットで実施された実験は、我々の導入したアプローチの貴重な利点を示している。
  論文  参考訳（メタデータ） (2023-08-28T10:51:11Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Muti-scale Graph Neural Network with Signed-attention for Social Bot Detection: A Frequency Perspective [10.089319405788277]
  ソーシャルメディアに大量のボットが存在することは、悪影響を及ぼす。 グラフニューラルネットワーク(GNN)は、ユーザ間の社会的関係を効果的に活用し、ボットの検出において優れた結果を得ることができる。 本稿では,MSGSと呼ばれるソーシャルボット検出のためのマルチスケール署名付きグラフフィルタを提案する。
  論文  参考訳（メタデータ） (2023-07-05T00:40:19Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• TwiBot-22: Towards Graph-Based Twitter Bot Detection [39.359825215347655]
  TwiBot-22はグラフベースのTwitterボット検出ベンチマークで、これまでで最大のデータセットを示している。 35の代表的なTwitterボット検出ベースラインを再実装し、TwiBot-22を含む9つのデータセットで評価します。 さらなる研究を容易にするため、実装済みのコードとデータセットをTwiBot-22評価フレームワークに統合する。
  論文  参考訳（メタデータ） (2022-06-09T15:23:37Z)
• Identification of Twitter Bots based on an Explainable ML Framework: the US 2020 Elections Case Study [72.61531092316092]
  本稿では,ラベル付きTwitterデータに基づくTwitterボット識別システムの設計に焦点をあてる。 Supervised Machine Learning (ML)フレームワークは、Extreme Gradient Boosting (XGBoost)アルゴリズムを用いて採用されている。 また、MLモデルの予測を説明するためにShapley Additive Explanations (SHAP)をデプロイした。
  論文  参考訳（メタデータ） (2021-12-08T14:12:24Z)
• Detection of Novel Social Bots by Ensembles of Specialized Classifiers [60.63582690037839]
  悪意ある俳優は、社会ボットとして知られるアルゴリズムによって部分的に制御される不正なソーシャルメディアアカウントを作成し、誤情報を広め、オンラインでの議論を扇動する。 異なるタイプのボットが、異なる行動特徴によって特徴づけられることを示す。 本稿では,ボットのクラスごとに専門的な分類器を訓練し,それらの決定を最大ルールで組み合わせる,教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T22:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。