論文の概要: Exploration and Evaluation of Bias in Cyberbullying Detection with Machine Learning

• arxiv url: http://arxiv.org/abs/2412.00609v1
• Date: Sat, 30 Nov 2024 23:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:35.642096
• Title: Exploration and Evaluation of Bias in Cyberbullying Detection with Machine Learning
• Title（参考訳）: 機械学習によるサイバーバブル検出におけるバイアスの探索と評価
• Authors: Andrew Root, Liam Jakubowski, Mounika Vanamala,
• Abstract要約: 今回の研究では、一般的な3つのサイバーいじめデータセットを使用して、データの影響、収集方法、ラベル付け方法、結果の機械学習モデルへの影響を調査します。 仮説として、このモデルはマクロF1スコアに大幅に低下し、平均値0.222が低下した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: It is well known that the usefulness of a machine learning model is due to its ability to generalize to unseen data. This study uses three popular cyberbullying datasets to explore the effects of data, how it's collected, and how it's labeled, on the resulting machine learning models. The bias introduced from differing definitions of cyberbullying and from data collection is discussed in detail. An emphasis is made on the impact of dataset expansion methods, which utilize current data points to fetch and label new ones. Furthermore, explicit testing is performed to evaluate the ability of a model to generalize to unseen datasets through cross-dataset evaluation. As hypothesized, the models have a significant drop in the Macro F1 Score, with an average drop of 0.222. As such, this study effectively highlights the importance of dataset curation and cross-dataset testing for creating models with real-world applicability. The experiments and other code can be found at https://github.com/rootdrew27/cyberbullying-ml.
• Abstract（参考訳）: 機械学習モデルの有用性は、目に見えないデータに一般化できる能力に起因していることがよく知られている。 今回の研究では、一般的な3つのサイバーいじめデータセットを使用して、データの影響、収集方法、ラベル付け方法、結果の機械学習モデルへの影響を調査します。 サイバーいじめとデータ収集の異なる定義から導入されたバイアスを詳しく論じる。 データセット拡張手法は、現在のデータポイントを使用して新しいデータをフェッチしてラベル付けする。 さらに、クロスデータセット評価により、未知のデータセットに一般化するモデルの能力を評価するために、明示的なテストを行う。 仮説として、このモデルはマクロF1スコアに大幅に低下し、平均値0.222が低下した。 そこで本研究では,実世界の応用可能なモデルを作成する上で,データセットキュレーションとデータセット横断テストの重要性を効果的に強調する。 実験やその他のコードはhttps://github.com/rootdrew27/cyberbullying-mlで見ることができる。

関連論文リスト

• A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data [9.57464542357693]
  実世界のモデリングパイプラインは、しばしばデータセット固有の前処理と特徴工学を必要とするため、モデル中心の評価は偏りがあることを実証する。 Kaggleコンペティションから10の関連するデータセットを選択し、データセット毎に専門家レベルの前処理パイプラインを実装します。 データセット固有の機能エンジニアリングの後、モデルランキングは大幅に変化し、性能差が減少し、モデル選択の重要性が低下する。
  論文  参考訳（メタデータ） (2024-07-02T09:54:39Z)
• On the Cross-Dataset Generalization of Machine Learning for Network Intrusion Detection [50.38534263407915]
  ネットワーク侵入検知システム(NIDS)はサイバーセキュリティの基本的なツールである。 多様なネットワークにまたがる一般化能力は、その有効性と現実のアプリケーションにとって必須の要素である。 本研究では,機械学習に基づくNIDSの一般化に関する包括的分析を行う。
  論文  参考訳（メタデータ） (2024-02-15T14:39:58Z)
• Anticipated Network Surveillance -- An extrapolated study to predict cyber-attacks using Machine Learning and Data Analytics [0.0]
  本稿では、複数のデータパラメータに基づいて、ネットワークにおける今後の攻撃を予測する新しい手法について論じる。 提案するモデルは,データセットの事前処理とトレーニング,続いてテストフェーズで構成される。 テストフェーズの結果に基づいて、攻撃につながる可能性のあるイベントクラスを抽出したベストモデルが選択される。
  論文  参考訳（メタデータ） (2023-12-27T01:09:11Z)
• Machine Unlearning for Causal Inference [0.6621714555125157]
  モデルが与えられたユーザに関する情報(マシンアンラーニング)の学習/取得の一部を忘れることが重要である。 本稿では、因果推論のための機械学習の概念、特に確率スコアマッチングと治療効果推定について紹介する。 この研究で使用されるデータセットは、ジョブトレーニングプログラムの有効性を評価するために広く使用されているデータセットであるLalondeデータセットである。
  論文  参考訳（メタデータ） (2023-08-24T17:27:01Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• A Note on Data Biases in Generative Models [16.86600007830682]
  生成モデルの性能に及ぼすデータセット品質の影響について検討する。 生成モデルによりデータセットの社会的バイアスがどのように再現されるかを示す。 本稿では,写真,油絵,アニメなどの多様なデータセット間の非ペア転送を通じて,クリエイティブな応用を提示する。
  論文  参考訳（メタデータ） (2020-12-04T10:46:37Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Are Labels Always Necessary for Classifier Accuracy Evaluation? [28.110519483540482]
  ラベルなしテストデータセットの分類精度を推定することを目的としている。 元の画像から生成されたデータセットからなるメタデータセットを構築する。 各サンプル(データセット)上のモデルの分類精度は、元のデータセットラベルから知られているので、回帰によってそのタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-07-06T17:45:39Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。