論文の概要: Robustifying Sentiment Classification by Maximally Exploiting Few Counterfactuals

• arxiv url: http://arxiv.org/abs/2210.11805v1
• Date: Fri, 21 Oct 2022 08:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 14:43:21.305885
• Title: Robustifying Sentiment Classification by Maximally Exploiting Few Counterfactuals
• Title（参考訳）: 数項目の最大出力によるロバスト化感性分類
• Authors: Maarten De Raedt, Fr\'ederic Godin, Chris Develder, Thomas Demeester
• Abstract要約: そこで本研究では,トレーニングデータの少数のアノテーションのみを必要とする新しい手法を提案する。 また,手作業による正解率を1%に抑えることで,顕著な精度向上を実現した。
• 参考スコア（独自算出の注目度）: 16.731183915325584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For text classification tasks, finetuned language models perform remarkably well. Yet, they tend to rely on spurious patterns in training data, thus limiting their performance on out-of-distribution (OOD) test data. Among recent models aiming to avoid this spurious pattern problem, adding extra counterfactual samples to the training data has proven to be very effective. Yet, counterfactual data generation is costly since it relies on human annotation. Thus, we propose a novel solution that only requires annotation of a small fraction (e.g., 1%) of the original training data, and uses automatic generation of extra counterfactuals in an encoding vector space. We demonstrate the effectiveness of our approach in sentiment classification, using IMDb data for training and other sets for OOD tests (i.e., Amazon, SemEval and Yelp). We achieve noticeable accuracy improvements by adding only 1% manual counterfactuals: +3% compared to adding +100% in-distribution training samples, +1.3% compared to alternate counterfactual approaches.
• Abstract（参考訳）: テキスト分類タスクでは、微調整言語モデルは非常によく機能する。 しかし、トレーニングデータのスプリアスパターンに依存する傾向があるため、アウト・オブ・ディストリビューション(ood)テストデータのパフォーマンスが制限される。 この散発的なパターン問題を避けるための最近のモデルの中で、トレーニングデータに余分な偽のサンプルを追加することは、非常に効果的であることが証明されている。 しかし、偽造データ生成は人間のアノテーションに依存するため、コストがかかる。 そこで本研究では,オリジナルトレーニングデータの少ない分数(例えば1%)のアノテーションしか必要とせず,符号化ベクトル空間における余分な偽語の自動生成を用いた新しい解法を提案する。 IMDbデータを用いたOODテスト(Amazon,SemEval,Yelpなど)において,感情分類におけるアプローチの有効性を実証した。 1%の手動の偽物を追加することで、明らかな精度向上を達成している: +3% は、100% の分布内トレーニングサンプルを追加し、+1.3% は代替の偽物アプローチと比較した。

関連論文リスト

• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• WC-SBERT: Zero-Shot Text Classification via SBERT with Self-Training for Wikipedia Categories [5.652290685410878]
  本研究は,NLPにおけるゼロショットテキスト分類問題の解決に重点を置いている。 本稿では,テキストではなくラベルを用いた新たな自己学習戦略を提案する。 提案手法は,Yahoo Topic と AG News の双方のデータセットに対して,最先端の結果を得られる。
  論文  参考訳（メタデータ） (2023-07-28T04:17:41Z)
• Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space [10.698553177585973]
  ニューラルネットワークの最後の層におけるヌル空間を分析し、トレーニングデータへのアクセスやそれらのデータの正確性に関する知識を必要とせずに、オーバーフィッティングを定量化する。 私たちの研究は、トレーニングデータへのアクセスやトレーニングサンプルに関する知識を必要とせずに、オーバーフィッティングを定量化する最初の試みです。
  論文  参考訳（メタデータ） (2023-05-30T21:31:24Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection [0.4893345190925178]
  複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。 SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-01-25T08:13:50Z)
• CellTranspose: Few-shot Domain Adaptation for Cellular Instance Segmentation [4.38301148531795]
  我々は、最小限の新しい注釈付きデータとトレーニング時間を必要とするアプローチを設計する問題に対処する。 我々は、いくつかの注釈付きサンプルを非常に効率的に活用する、特別な対照的な損失を設計する。
  論文  参考訳（メタデータ） (2022-12-28T23:00:50Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。