論文の概要: Latent Feature-based Data Splits to Improve Generalisation Evaluation: A
Hate Speech Detection Case Study
- arxiv url: http://arxiv.org/abs/2311.10236v1
- Date: Thu, 16 Nov 2023 23:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:27:11.229447
- Title: Latent Feature-based Data Splits to Improve Generalisation Evaluation: A
Hate Speech Detection Case Study
- Title(参考訳): 一般化評価を改善するための潜在特徴に基づくデータ分割:ヘイトスピーチ検出事例
- Authors: Maike Z\"ufle, Verna Dankers and Ivan Titov
- Abstract要約: 我々は、モデルが潜在空間の盲点において破滅的に失敗することを示す2つの分割変種を提示する。
解析の結果,データ分割の面面レベル特性は明らかになく,性能が低下していることが示唆された。
- 参考スコア(独自算出の注目度): 33.1099258648462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the ever-growing presence of social media platforms comes the increased
spread of harmful content and the need for robust hate speech detection
systems. Such systems easily overfit to specific targets and keywords, and
evaluating them without considering distribution shifts that might occur
between train and test data overestimates their benefit. We challenge hate
speech models via new train-test splits of existing datasets that rely on the
clustering of models' hidden representations. We present two split variants
(Subset-Sum-Split and Closest-Split) that, when applied to two datasets using
four pretrained models, reveal how models catastrophically fail on blind spots
in the latent space. This result generalises when developing a split with one
model and evaluating it on another. Our analysis suggests that there is no
clear surface-level property of the data split that correlates with the
decreased performance, which underscores that task difficulty is not always
humanly interpretable. We recommend incorporating latent feature-based splits
in model development and release two splits via the GenBench benchmark.
- Abstract(参考訳): ソーシャルメディアプラットフォームの存在が拡大するにつれ、有害コンテンツの普及と、堅牢なヘイトスピーチ検出システムの必要性が高まっている。
このようなシステムは、特定のターゲットやキーワードに簡単に過剰に適合し、トレーニングデータとテストデータの間で発生する分散シフトを考慮せずに評価することができる。
モデルの隠れた表現のクラスタリングに依存する既存のデータセットの新しいトレインテスト分割を通じて、ヘイトスピーチモデルに挑戦する。
4つの事前訓練されたモデルを用いて2つのデータセットに適用した場合、モデルが潜在空間の盲点で破滅的に失敗することを示す2つの分割変種(Subset-Sum-Split と Closest-Split )を示す。
この結果は、あるモデルで分割を開発し、別のモデルで評価する際に一般化される。
解析の結果,データ分割の面面的特性は明らかになく,処理の難易度が必ずしも人間的に解釈可能であるとは限らないことが示唆された。
潜在的な機能ベースの分割をモデル開発に取り入れ、genbenchベンチマークを通じて2つの分割をリリースすることを推奨します。
関連論文リスト
- Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。
このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。
4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
論文 参考訳(メタデータ) (2024-08-02T14:34:27Z) - Voices in a Crowd: Searching for Clusters of Unique Perspectives [8.516397617576978]
提案されたソリューションは、アノテータの不一致をモデル化するか、あるいは共有メタデータに基づいてアノテータをグループ化することによって、少数派の視点を捉えることを目的としている。
本稿では,アノテータのメタデータを符号化せずにモデルを訓練し,アノテータの振る舞いによって通知される潜伏埋め込みを抽出し,類似した意見の集合を生成するフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-19T12:37:15Z) - Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-14T17:15:54Z) - Hybrid Open-set Segmentation with Synthetic Negative Data [0.0]
開集合セグメンテーションは、閉集合分類と異常検出を補完することで実現できる。
生成的および識別的手がかりを融合させる新しい異常スコアを提案する。
実験では、計算オーバーヘッドが無視できないにもかかわらず、強力なオープンセット性能を示す。
論文 参考訳(メタデータ) (2023-01-19T11:02:44Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Detect Hate Speech in Unseen Domains using Multi-Task Learning: A Case
Study of Political Public Figures [7.52579126252489]
複数のヘイトスピーチデータセットを同時に学習するマルチタスク学習パイプラインを提案する。
列車-テスト分割における一般化誤差を調べる際には強い結果が得られ、以前に見つからなかったデータセットで予測する場合には大幅に改善される。
PubFigsと呼ばれる新しいデータセットも収集し、アメリカ公共政治図の問題点に焦点をあてた。
論文 参考訳(メタデータ) (2022-08-22T21:13:38Z) - Sharing pattern submodels for prediction with missing values [12.981974894538668]
機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。
パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
論文 参考訳(メタデータ) (2022-06-22T15:09:40Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。
テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。
我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
論文 参考訳(メタデータ) (2022-05-24T23:43:02Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。