論文の概要: Effects of Human Adversarial and Affable Samples on BERT Generalizability

• arxiv url: http://arxiv.org/abs/2310.08008v2
• Date: Fri, 13 Oct 2023 02:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 16:12:52.066350
• Title: Effects of Human Adversarial and Affable Samples on BERT Generalizability
• Title（参考訳）: BERTの一般化性に及ぼす人体と親和性サンプルの影響
• Authors: Aparna Elangovan, Jiayuan He, Yuan Li, Karin Verspoor
• Abstract要約: 本研究では,学習データ品質がモデルの一般化可能性に及ぼす影響について検討する。 トレーニングサンプルのサイズが一定であれば,10～30%のh-adversarialインスタンスを使用すれば,精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 12.000570944219515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: BERT-based models have had strong performance on leaderboards, yet have been demonstrably worse in real-world settings requiring generalization. Limited quantities of training data is considered a key impediment to achieving generalizability in machine learning. In this paper, we examine the impact of training data quality, not quantity, on a model's generalizability. We consider two characteristics of training data: the portion of human-adversarial (h-adversarial), i.e., sample pairs with seemingly minor differences but different ground-truth labels, and human-affable (h-affable) training samples, i.e., sample pairs with minor differences but the same ground-truth label. We find that for a fixed size of training samples, as a rule of thumb, having 10-30% h-adversarial instances improves the precision, and therefore F1, by up to 20 points in the tasks of text classification and relation extraction. Increasing h-adversarials beyond this range can result in performance plateaus or even degradation. In contrast, h-affables may not contribute to a model's generalizability and may even degrade generalization performance.
• Abstract（参考訳）: bertベースのモデルは、leaderboardsでパフォーマンスが高かったが、現実の世界では一般化を必要とする状況では、かなり悪くなっている。 限られた量のトレーニングデータは、機械学習における一般化性を達成するための鍵となる障害とみなされる。 本稿では,モデルの一般化性に対する量ではなく,データ品質のトレーニングが与える影響について検討する。 訓練データの特徴として,人間-敵関係 (h-敵関係) の部分,すなわち,一見小さな差異があるが接地ラベルが異なるサンプルペア,および人間-適応(h-親和性)訓練サンプル,すなわち,接地ラベルは同じ接地ラベルを持つサンプルペアの2つを検討した。 サンプルの固定サイズについては,親指の規則として10～30%のh-adversarialインスタンスを持つと精度が向上し,F1はテキスト分類や関係抽出のタスクにおいて最大20ポイント向上することがわかった。 この範囲を超えてh-adversarialが増加すると、パフォーマンスのプラトーや劣化が起きる。 対照的に、h-affablesはモデルの一般化可能性に寄与せず、一般化性能を低下させることもある。

関連論文リスト

• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models [24.376036129920948]
  本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。 ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。 画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
  論文  参考訳（メタデータ） (2023-10-28T23:46:31Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Deep Learning on a Healthy Data Diet: Finding Important Examples for Fairness [15.210232622716129]
  データ駆動予測ソリューションは、主に商用アプリケーションで使われているが、バイアスやステレオタイプに悩まされる傾向がある。 データ拡張は、トレーニングデータセットに反実例を追加することで、性別バイアスを低減する。 拡張データセットのいくつかの例は、公平性には重要でも有害でもないことを示します。
  論文  参考訳（メタデータ） (2022-11-20T22:42:30Z)
• Robustifying Sentiment Classification by Maximally Exploiting Few Counterfactuals [16.731183915325584]
  そこで本研究では,トレーニングデータの少数のアノテーションのみを必要とする新しい手法を提案する。 また,手作業による正解率を1%に抑えることで,顕著な精度向上を実現した。
  論文  参考訳（メタデータ） (2022-10-21T08:30:09Z)
• DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination [28.599571524763785]
  ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
  論文  参考訳（メタデータ） (2022-08-21T13:38:55Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• Assessing Dataset Bias in Computer Vision [0.0]
  偏見は、訓練するモデルに伝播する傾向があり、しばしば少数派ではパフォーマンスが劣る。 UTKFaceデータセットのサンプルに、アンダーサンプリング、幾何変換、可変オートエンコーダ(VAE)、生成逆ネットワーク(GAN)など、いくつかの拡張手法を適用する。 FairFaceモデルと比較して、複数のデータセット上の年齢と民族の分類において、我々のモデルが全体的なパフォーマンスと一貫性を向上できることを示しました。
  論文  参考訳（メタデータ） (2022-05-03T22:45:49Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。