論文の概要: Social Media Data Toolkit: Standardization and Anonymization of Social Network Datasets
- arxiv url: http://arxiv.org/abs/2604.27710v1
- Date: Thu, 30 Apr 2026 10:56:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.052281
- Title: Social Media Data Toolkit: Standardization and Anonymization of Social Network Datasets
- Title（参考訳）: ソーシャルメディアデータツールキット:ソーシャルネットワークデータセットの標準化と匿名化
- Abstract要約: Social Media Data Toolkit(プロジェクトネーム)は、ソーシャルネットワークデータセットの標準化、匿名化、強化のために設計されたPythonフレームワークである。
projectnameは、さまざまなデータ構造をCommunity, Accounts, Posts, Actions, Entitiesで構成される汎用スキーマに統一する。
このフレームワークは、PII(Personally Identible Information)を保護する匿名モジュールと、LLM(Large Language Models)とネットワーク分析ツールを統合する拡張可能なエンリッチメント層を備えている。
- 参考スコア（独自算出の注目度）: 5.06428614449742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid diversification of social media platforms and the increasing restrictions on official APIs have significantly complicated cross-platform analysis. Researchers are often forced to rely on heterogeneous datasets obtained through web scraping and historical archives; however they often lack structural consistency. Prior to conducting cross-platform social media analyses, one needs to answer three critical questions: (1) What makes platforms different and similar? (2) How were the datasets collected? (3) How can we align the datasets of different platforms to conduct fair analyses? To address these questions, we introduce the Social Media Data Toolkit (\projectname{}), a comprehensive Python framework designed for the standardization, anonymization, and enrichment of social network datasets. \projectname{} unifies diverse data structures into a generic schema comprising Communities, Accounts, Posts, Actions, and Entities to facilitate multi-platform research. The framework features a configurable anonymization module to secure Personally Identifiable Information (PII) and an extendable enrichment layer that integrates Large Language Models (LLMs) and network analysis tools for downstream tasks such as stance detection and toxicity scoring without creating codebase for different datasets. We demonstrate the versatility of \projectname{} through four case studies spanning from textual analysis of the content to network analysis across platforms. To offer reproducible social media research, \projectname{} is released as an open-source tool featuring detailed documentation and practical guides for researchers at any skill-level. It can be accessed at github.com/ViralLab/SMDT and varollab.com/SMDT.
- Abstract（参考訳）: ソーシャルメディアプラットフォームの急速な多様化と公式APIの制限の増大は、クロスプラットフォーム分析を著しく複雑にしている。
研究者はしばしばウェブスクレイピングや歴史的なアーカイブを通じて得られた異種データセットに頼らざるを得ないが、構造的な一貫性に欠けることが多い。
クロスプラットフォームのソーシャルメディア分析を行う前に、3つの重要な質問に答える必要がある。
(2)データセットはどのように収集されたか?
(3) 異なるプラットフォームのデータセットを公正な分析に合わせるにはどうすればよいか?
これらの問題に対処するために、ソーシャルネットワークデータセットの標準化、匿名化、強化のために設計された包括的なPythonフレームワークであるSocial Media Data Toolkit(\projectname{})を紹介する。
さまざまなデータ構造を、Community, Accounts, Posts, Actions, Entitiesで構成される汎用スキーマに統合して、マルチプラットフォーム研究を促進する。
このフレームワークは、PII(Personally Identible Information)を保護するための設定可能な匿名化モジュールと、Large Language Models(LLM)を統合した拡張可能なエンリッチメント層と、異なるデータセットのコードベースを作成することなく、スタンス検出や毒性スコアリングといった下流タスクのためのネットワーク分析ツールを備えている。
本稿では,コンテンツの内容のテキスト解析からプラットフォーム間のネットワーク解析まで,4つのケーススタディを通じて,‘projectname{}’の汎用性を実証する。
再現可能なソーシャルメディアリサーチを提供するために,‘projectname{} はオープンソースツールとしてリリースされている。
github.com/ViralLab/SMDTとvarollab.com/SMDTでアクセスできる。
関連論文リスト
- SocialX: A Modular Platform for Multi-Source Big Data Research in Indonesia [0.0]
SocialXはインドネシアのビッグデータ研究のためのモジュラープラットフォームである。
異種データ収集、言語対応の事前処理、プラグイン可能な分析を統一されたソースに依存しないパイプラインに統合する。
論文 参考訳（メタデータ） (2026-03-27T10:22:34Z) - MARSAD: A Multi-Functional Tool for Real-Time Social Media Analysis [7.268812063067803]
MARSADは、リアルタイムソーシャルメディア監視と分析のために設計された多機能自然言語処理(NLP)プラットフォームである。
研究者や非技術者でも、ライブおよびアーカイブされたソーシャルメディアコンテンツの両方を調べることができる。
感情分析、感情分析、プロパガンダ検出、ファクトチェック、ヘイトスピーチ検出など、さまざまな側面にわたる詳細な可視化とレポートを生成する。
論文 参考訳（メタデータ） (2025-12-01T07:31:37Z) - Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation [117.54237701533805]
Open X-Embodiment (OXE)のような大規模データセットでトレーニングされた汎用的なロボットポリシーは、幅広いタスクにわたって強力なパフォーマンスを示している。
彼らはしばしば、トレーニングデータの分布を超えて一般化するのに苦労する。
我々は,ショートカット学習を一般化の鍵となる障害として認識する。
論文 参考訳（メタデータ） (2025-08-08T16:14:01Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z) - WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization [68.46693401421923]
WebShaperは集合論を通してISタスクを体系的に定式化する。
WebShaperは、GAIAおよびWebWalkerQAベンチマーク上で、オープンソースISエージェントの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-07-20T17:53:37Z) - Towards High-Fidelity Synthetic Multi-platform Social Media Datasets via Large Language Models [0.0]
ソーシャルメディアデータセットは、偽情報、インフルエンサー操作、ヘイトスピーチ検出、インフルエンサーマーケティングプラクティスなど、さまざまなトピックの研究に不可欠である。
ソーシャルメディアのデータセットへのアクセスは、コストとプラットフォーム制限のために制限されることが多い。
本稿では,複数のプラットフォームにまたがって,語彙的および意味論的に関連するソーシャルメディアデータセットを作成するための,大規模言語モデルの可能性について検討する。
論文 参考訳（メタデータ） (2025-05-02T18:56:01Z) - Multi-Platform Aggregated Dataset of Online Communities (MADOC) [64.45797970830233]
MADOCはBluesky、Koo、Reddit、Voat(2012-2024)のデータを集め、標準化している。
このデータセットは、標準化されたインタラクション記録と感情分析を通じて、プラットフォーム間の有害な振る舞いの進化の比較研究を可能にする。
論文 参考訳（メタデータ） (2025-01-22T14:02:11Z) - BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。
BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。
BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2024-10-01T15:11:24Z) - Modeling offensive content detection for TikTok [0.0]
本研究では,攻撃内容を含むTikTokデータの収集と解析を行う。
攻撃的なコンテンツ検出のための一連の機械学習とディープラーニングモデルを構築している。
論文 参考訳（メタデータ） (2024-08-29T18:47:41Z) - Leveraging GPT for the Generation of Multi-Platform Social Media Datasets for Research [0.0]
ソーシャルメディアデータセットは、偽情報、影響操作、ソーシャルセンシング、ヘイトスピーチ検出、サイバーいじめ、その他の重要なトピックの研究に不可欠である。
これらのデータセットへのアクセスは、コストとプラットフォーム規制のために制限されることが多い。
本稿では,複数のプラットフォームにまたがって,語彙的および意味論的に関連するソーシャルメディアデータセットを作成するための,大規模言語モデルの可能性について検討する。
論文 参考訳（メタデータ） (2024-07-11T09:12:39Z) - Social Intelligence Data Infrastructure: Structuring the Present and Navigating the Future [59.78608958395464]
私たちは、包括的な社会AI分類と480のNLPデータセットからなるデータライブラリで構成される、ソーシャルAIデータインフラストラクチャを構築しています。
インフラストラクチャにより、既存のデータセットの取り組みを分析し、異なるソーシャルインテリジェンスの観点から言語モデルのパフォーマンスを評価することができます。
多面的なデータセットの必要性、言語と文化の多様性の向上、より長期にわたる社会的状況、そして将来のソーシャルインテリジェンスデータ活動におけるよりインタラクティブなデータの必要性が示されている。
論文 参考訳（メタデータ） (2024-02-28T00:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。