論文の概要: Sexism Detection on a Data Diet

• arxiv url: http://arxiv.org/abs/2406.04892v1
• Date: Fri, 7 Jun 2024 12:39:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:11:13.784059
• Title: Sexism Detection on a Data Diet
• Title（参考訳）: データダイエットにおける性行為検出
• Authors: Rabiraj Bandyopadhyay, Dennis Assenmacher, Jose M. Alonso Moral, Claudia Wagner,
• Abstract要約: モデルのトレーニング中に、インフルエンススコアを利用してデータポイントの重要性を推定する方法を示します。 ドメイン外の3つのデータセット上で異なるプルーニング戦略を用いて、データプルーニングに基づいてトレーニングされたモデル性能を評価する。
• 参考スコア（独自算出の注目度）: 14.899608305188002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is an increase in the proliferation of online hate commensurate with the rise in the usage of social media. In response, there is also a significant advancement in the creation of automated tools aimed at identifying harmful text content using approaches grounded in Natural Language Processing and Deep Learning. Although it is known that training Deep Learning models require a substantial amount of annotated data, recent line of work suggests that models trained on specific subsets of the data still retain performance comparable to the model that was trained on the full dataset. In this work, we show how we can leverage influence scores to estimate the importance of a data point while training a model and designing a pruning strategy applied to the case of sexism detection. We evaluate the model performance trained on data pruned with different pruning strategies on three out-of-domain datasets and find, that in accordance with other work a large fraction of instances can be removed without significant performance drop. However, we also discover that the strategies for pruning data, previously successful in Natural Language Inference tasks, do not readily apply to the detection of harmful content and instead amplify the already prevalent class imbalance even more, leading in the worst-case to a complete absence of the hateful class.
• Abstract（参考訳）: ソーシャルメディアの利用の増加に伴い、オンライン憎悪の急増が相次いでいる。 これに対し、自然言語処理とディープラーニングを基盤としたアプローチを用いて有害なテキストコンテンツを特定することを目的とした自動化ツールの開発も、大きな進歩を遂げている。 ディープラーニングモデルのトレーニングには大量のアノテートデータが必要であることが知られているが、最近の研究は、データの特定のサブセットでトレーニングされたモデルは、完全なデータセットでトレーニングされたモデルに匹敵するパフォーマンスを維持していることを示唆している。 本研究では,モデルを訓練し,セクシズム検出に応用したプルーニング戦略を設計しながら,インフルエンススコアを利用して,データポイントの重要性を推定する方法を示す。 3つのドメイン外のデータセットで異なるプルーニング戦略で訓練されたデータに対してトレーニングされたモデル性能を評価し、他の作業に応じて、大量のインスタンスを大幅なパフォーマンス低下なしに除去できることを見出した。 しかし、以前自然言語推論タスクで成功していたデータの刈取戦略は、有害なコンテンツの検出に容易に適用できず、すでに普及しているクラスの不均衡をさらに増幅し、最悪の場合、憎悪なクラスが完全に欠落することにつながることも判明した。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Word Matters: What Influences Domain Adaptation in Summarization? [43.7010491942323]
  本稿では,ドメイン適応性能に影響を及ぼすきめ細かな要因について検討する。 本稿では,生成的要約の学習難しさとして,データセット学習の難しさの定量化を提案する。 実験により,データセット学習の難易度を考慮すると,要約タスクにおけるドメイン間オーバーラップと性能向上が近似線形関係を示すことがわかった。
  論文  参考訳（メタデータ） (2024-06-21T02:15:49Z)
• Large-Scale Dataset Pruning in Adversarial Training through Data Importance Extrapolation [1.3124513975412255]
  本稿では,少数のデータ集合からより大きなデータ集合へのデータ重要度スコアの補間に基づく新たなデータ抽出戦略を提案する。 実験的な評価では,外挿型プルーニングは頑健性を維持しつつ,データセットサイズを効率的に削減できることを示した。
  論文  参考訳（メタデータ） (2024-06-19T07:23:51Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Harnessing the Power of Text-image Contrastive Models for Automatic Detection of Online Misinformation [50.46219766161111]
  誤情報識別の領域における構成的学習を探求する自己学習モデルを構築した。 本モデルでは、トレーニングデータが不十分な場合、非マッチング画像-テキストペア検出の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-19T02:53:59Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering [17.7709632238066]
  データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。 我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。 本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-20T03:13:02Z)
• Gradient-based Data Subversion Attack Against Binary Classifiers [9.414651358362391]
  本研究では,攻撃者がラベルのラベルに毒を盛り,システムの機能を損なうようなラベル汚染攻撃に焦点を当てる。 我々は、予測ラベルに対する微分可能凸損失関数の勾配をウォームスタートとして利用し、汚染するデータインスタンスの集合を見つけるための異なる戦略を定式化する。 本実験は,提案手法がベースラインより優れ,計算効率が高いことを示す。
  論文  参考訳（メタデータ） (2021-05-31T09:04:32Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。