論文の概要: Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification

• arxiv url: http://arxiv.org/abs/2410.00179v2
• Date: Wed, 2 Oct 2024 01:50:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 10:14:04.688463
• Title: Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification
• Title（参考訳）: 少数ショットテキスト分類前のラベル付きテストデータに基づくタスク適応型事前学習の公平性の評価
• Authors: Kush Dubey,
• Abstract要約: 現代のNLP技術を評価するには、少ないショットの学習ベンチマークが重要である。 しかし、ベンチマークでは、ラベルのないテキストを簡単に利用できる方法が好まれる可能性がある。 ラベルなしテストセットテキストの事前学習によるバイアスを定量化する実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Few-shot learning benchmarks are critical for evaluating modern NLP techniques. It is possible, however, that benchmarks favor methods which easily make use of unlabeled text, because researchers can use unlabeled text from the test set to pretrain their models. Given the dearth of research on this potential problem, we run experiments to quantify the bias caused by pretraining on unlabeled test set text instead of on unlabeled, independently drawn text. Controlled few-shot and zero-shot experiments on 25 classification tasks and 3 language models -- BERT, GPT-2, and Mistral 7B -- do not find evidence of overoptimism. Furthermore, we demonstrate the importance of repeated subsampling when studying few-shot text classification, and recommend that few-shot learning benchmarks include multiple training folds. Code and data are available at https://github.com/kddubey/pretrain-on-test/.
• Abstract（参考訳）: 現代のNLP技術を評価するには、少ないショットの学習ベンチマークが重要である。 しかし、研究者はテストセットからラベルなしのテキストを使ってモデルを事前訓練できるため、ラベルなしのテキストを簡単に利用する手法が好まれる可能性がある。 この潜在的な問題に関する研究の難しさを鑑みて、未ラベルの独立したテキストではなく、未ラベルのテストセットのテキストで事前学習することによるバイアスを定量化する実験を行う。 25の分類タスクと3つの言語モデル(BERT、GPT-2、Mistral 7B)に関するいくつかのショットとゼロショットの制御実験では、過度な最適化の証拠は見つからない。 さらに,数発のテキスト分類を学習する場合の繰り返しサブサンプリングの重要性を実証し,複数の訓練用フォルダを含む場合の学習ベンチマークを推奨する。 コードとデータはhttps://github.com/kddubey/pretrain-on-test/で公開されている。

関連論文リスト

• Identifying Fairness Issues in Automatically Generated Testing Content [9.698044538202442]
  本研究は,テスト集団の特定のサブセットのみに関連するコンテンツを特定することを目的として,大規模に標準化された英語習熟度テストのために生成されたテスト内容についてレビューする。 フェアネスにアノテートされた601個のテキストのデータセットを構築し,様々な分類手法を探索する。 即時自己補正と少数ショット学習を組み合わせることで,F1スコアが0.79となることが確認できた。
  論文  参考訳（メタデータ） (2024-04-23T14:56:15Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)
• Rank-Aware Negative Training for Semi-Supervised Text Classification [3.105629960108712]
  半教師付きテキスト分類ベースのパラダイム(SSTC)は通常、自己学習の精神を用いる。 本稿では,SSTCを雑音ラベル方式で学習する上で,RNT(Range-Aware Negative Training)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-13T08:41:36Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• Test-Time Adaptation via Self-Training with Nearest Neighbor Information [16.346069386394703]
  オンラインテストデータのみを使用してトレーニング済みの分類器を適用することが重要である。 テスト時間適応の一般的なアプローチの1つは、自己学習である。 本稿では,近隣情報を用いた自己学習によるテスト時間適応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T05:02:15Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks [14.547623982073475]
  ディープラーニングシステムはテストやデバッグが難しいことで有名です。 テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。 本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T03:41:10Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。