論文の概要: Latent Feature-based Data Splits to Improve Generalisation Evaluation: A
Hate Speech Detection Case Study
- arxiv url: http://arxiv.org/abs/2311.10236v1
- Date: Thu, 16 Nov 2023 23:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:27:11.229447
- Title: Latent Feature-based Data Splits to Improve Generalisation Evaluation: A
Hate Speech Detection Case Study
- Title(参考訳): 一般化評価を改善するための潜在特徴に基づくデータ分割:ヘイトスピーチ検出事例
- Authors: Maike Z\"ufle, Verna Dankers and Ivan Titov
- Abstract要約: 我々は、モデルが潜在空間の盲点において破滅的に失敗することを示す2つの分割変種を提示する。
解析の結果,データ分割の面面レベル特性は明らかになく,性能が低下していることが示唆された。
- 参考スコア(独自算出の注目度): 33.1099258648462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the ever-growing presence of social media platforms comes the increased
spread of harmful content and the need for robust hate speech detection
systems. Such systems easily overfit to specific targets and keywords, and
evaluating them without considering distribution shifts that might occur
between train and test data overestimates their benefit. We challenge hate
speech models via new train-test splits of existing datasets that rely on the
clustering of models' hidden representations. We present two split variants
(Subset-Sum-Split and Closest-Split) that, when applied to two datasets using
four pretrained models, reveal how models catastrophically fail on blind spots
in the latent space. This result generalises when developing a split with one
model and evaluating it on another. Our analysis suggests that there is no
clear surface-level property of the data split that correlates with the
decreased performance, which underscores that task difficulty is not always
humanly interpretable. We recommend incorporating latent feature-based splits
in model development and release two splits via the GenBench benchmark.
- Abstract(参考訳): ソーシャルメディアプラットフォームの存在が拡大するにつれ、有害コンテンツの普及と、堅牢なヘイトスピーチ検出システムの必要性が高まっている。
このようなシステムは、特定のターゲットやキーワードに簡単に過剰に適合し、トレーニングデータとテストデータの間で発生する分散シフトを考慮せずに評価することができる。
モデルの隠れた表現のクラスタリングに依存する既存のデータセットの新しいトレインテスト分割を通じて、ヘイトスピーチモデルに挑戦する。
4つの事前訓練されたモデルを用いて2つのデータセットに適用した場合、モデルが潜在空間の盲点で破滅的に失敗することを示す2つの分割変種(Subset-Sum-Split と Closest-Split )を示す。
この結果は、あるモデルで分割を開発し、別のモデルで評価する際に一般化される。
解析の結果,データ分割の面面的特性は明らかになく,処理の難易度が必ずしも人間的に解釈可能であるとは限らないことが示唆された。
潜在的な機能ベースの分割をモデル開発に取り入れ、genbenchベンチマークを通じて2つの分割をリリースすることを推奨します。
関連論文リスト
- Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-14T17:15:54Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Hybrid Open-set Segmentation with Synthetic Negative Data [0.0]
生成的および識別的手がかりを融合させる最初の高密度ハイブリッド異常スコアを提案する。
我々の設計は、無視できる計算オーバーヘッドのため、大きな画像の効率的な推測に非常に適している。
論文 参考訳(メタデータ) (2023-01-19T11:02:44Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Detect Hate Speech in Unseen Domains using Multi-Task Learning: A Case
Study of Political Public Figures [7.52579126252489]
複数のヘイトスピーチデータセットを同時に学習するマルチタスク学習パイプラインを提案する。
列車-テスト分割における一般化誤差を調べる際には強い結果が得られ、以前に見つからなかったデータセットで予測する場合には大幅に改善される。
PubFigsと呼ばれる新しいデータセットも収集し、アメリカ公共政治図の問題点に焦点をあてた。
論文 参考訳(メタデータ) (2022-08-22T21:13:38Z) - Sharing pattern submodels for prediction with missing values [12.981974894538668]
機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。
パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
論文 参考訳(メタデータ) (2022-06-22T15:09:40Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。
テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。
我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
論文 参考訳(メタデータ) (2022-05-24T23:43:02Z) - Discovering Distribution Shifts using Latent Space Representations [4.014524824655106]
新しい候補データセットに対するモデルの一般化性を評価するのは簡単ではない。
埋め込み空間幾何を用いて分布シフトを検出するための非パラメトリックフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-04T19:00:16Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。