論文の概要: Feeding LLM Annotations to BERT Classifiers at Your Own Risk

• arxiv url: http://arxiv.org/abs/2504.15432v1
• Date: Mon, 21 Apr 2025 20:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 01:28:38.133311
• Title: Feeding LLM Annotations to BERT Classifiers at Your Own Risk
• Title（参考訳）: LLMアノテーションをBERT分類器に入力する
• Authors: Yucheng Lu, Kazimier Smith,
• Abstract要約: テキスト分類のための小さなエンコーダのみのモデルにLLM生成ラベルを使用することは、様々な設定で人気を博している。 合成データに対する訓練の長年の呪いが、この特定の設定でどのように現れているかを実証する。 金ラベルでトレーニングされたモデルと比較して、精度とF1スコアが期待される性能劣化だけでなく、トレーニングランと未熟なパフォーマンスプラトーの不安定性も向上する。
• 参考スコア（独自算出の注目度）: 14.533304890042361
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Using LLM-generated labels to fine-tune smaller encoder-only models for text classification has gained popularity in various settings. While this approach may be justified in simple and low-stakes applications, we conduct empirical analysis to demonstrate how the perennial curse of training on synthetic data manifests itself in this specific setup. Compared to models trained on gold labels, we observe not only the expected performance degradation in accuracy and F1 score, but also increased instability across training runs and premature performance plateaus. These findings cast doubts on the reliability of such approaches in real-world applications. We contextualize the observed phenomena through the lens of error propagation and offer several practical mitigation strategies, including entropy-based filtering and ensemble techniques. Although these heuristics offer partial relief, they do not fully resolve the inherent risks of propagating non-random errors from LLM annotations to smaller classifiers, underscoring the need for caution when applying this workflow in high-stakes text classification tasks.
• Abstract（参考訳）: テキスト分類のための小さなエンコーダのみのモデルにLLM生成ラベルを使用することは、様々な設定で人気を博している。 このアプローチは、単純かつ低レベルの応用において正当化されるかもしれないが、我々は、この特定の設定において、合成データに対する訓練の長年にわたる呪いがどのように現れるかを示す経験的分析を行う。 金ラベルでトレーニングされたモデルと比較して、精度とF1スコアが期待される性能劣化だけでなく、トレーニングランと未熟なパフォーマンスプラトーの不安定性も向上する。 これらの結果は、現実世界の応用におけるそのようなアプローチの信頼性に疑問を投げかけた。 本稿では,誤差伝播のレンズを用いて観測された現象を文脈的に解析し,エントロピーに基づくフィルタリングやアンサンブル技術を含むいくつかの実用的な緩和戦略を提案する。 これらのヒューリスティックは部分的な救済を提供するが、LLMアノテーションからより小さな分類器へ非ランダムなエラーを伝播する固有のリスクを完全には解決していない。

関連論文リスト

• Self Iterative Label Refinement via Robust Unlabeled Learning [9.936885864460896]
  大規模言語モデル(LLM)の自己抑制手法は、しばしば固有のバイアスと過剰な自信に悩まされる。 本稿では,LLM生成した擬似ラベルの分類処理を改善するために,Unlabeled-Unlabeled学習フレームワークを用いた反復的改良パイプラインを提案する。 我々のアプローチは、初期擬似ラベルを反復的に軽視し、洗練することにより、内部バイアスの悪影響を最小限の人的監督で軽減する。
  論文  参考訳（メタデータ） (2025-02-18T06:04:18Z)
• Palisade -- Prompt Injection Detection Framework [0.9620910657090188]
  大規模言語モデルは、悪意のあるインジェクション攻撃に対して脆弱である。 本稿では,新しいNLPを用いたインジェクション検出手法を提案する。 階層化された入力スクリーニングプロセスを通じて精度と最適化を強調する。
  論文  参考訳（メタデータ） (2024-10-28T15:47:03Z)
• An Unbiased Risk Estimator for Partial Label Learning with Augmented Classes [46.663081214928226]
  PLLACを理論的に保証した非バイアスリスク推定器を提案する。 PLLACの推定誤差の理論的解析を行う。 ベンチマーク、UCI、実世界のデータセットの実験では、提案手法の有効性が示されている。
  論文  参考訳（メタデータ） (2024-09-29T07:36:16Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Uncertainty-aware Pseudo-label Selection for Positive-Unlabeled Learning [10.014356492742074]
  本稿では,正の未ラベル学習環境における不均衡データセットとモデル校正の問題に取り組むことを提案する。 マイノリティクラスからのシグナルを増強することにより、擬似ラベル付けはラベル付きデータセットをラベル付きデータセットから新しいサンプルで拡張する。 PUUPLは一連の実験において、高度に不均衡な設定で大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2022-01-31T12:55:47Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。