論文の概要: Large Language Models in the Task of Automatic Validation of Text Classifier Predictions

• arxiv url: http://arxiv.org/abs/2505.18688v1
• Date: Sat, 24 May 2025 13:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.593177
• Title: Large Language Models in the Task of Automatic Validation of Text Classifier Predictions
• Title（参考訳）: テキスト分類器自動検証作業における大規模言語モデル
• Authors: Aleksandr Tsymbalov,
• Abstract要約: テキスト分類のための機械学習モデルは、与えられたテキストのクラスを予測するために訓練される。 これを行うには、トレーニングと検証のサンプルを用意し、各テキストにクラスを割り当てる必要がある。 人間のアノテーションは通常、特定の分類タスクによって異なる専門レベルを持つ人間のアノテーションによって割り当てられる。 本稿では,人間のアノテータを大規模言語モデルに置き換えるためのいくつかのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models for text classification are trained to predict a class for a given text. To do this, training and validation samples must be prepared: a set of texts is collected, and each text is assigned a class. These classes are usually assigned by human annotators with different expertise levels, depending on the specific classification task. Collecting such samples from scratch is labor-intensive because it requires finding specialists and compensating them for their work; moreover, the number of available specialists is limited, and their productivity is constrained by human factors. While it may not be too resource-intensive to collect samples once, the ongoing need to retrain models (especially in incremental learning pipelines) to address data drift (also called model drift) makes the data collection process crucial and costly over the model's entire lifecycle. This paper proposes several approaches to replace human annotators with Large Language Models (LLMs) to test classifier predictions for correctness, helping ensure model quality and support high-quality incremental learning.
• Abstract（参考訳）: テキスト分類のための機械学習モデルは、与えられたテキストのクラスを予測するために訓練される。 テキストの集合が収集され、各テキストがクラスに割り当てられる。 これらのクラスは通常、特定の分類タスクによって異なる専門レベルを持つ人間のアノテーションによって割り当てられる。 このようなサンプルをスクラッチから集めるのは、専門家を見つけ出し、仕事を補う必要があるため、労働集約的であり、また、利用可能な専門家の数は限られており、その生産性は人的要因によって制限されている。 しかし、データドリフト(モデルドリフトとも呼ばれる)に対処するためにモデル(特に漸進的な学習パイプライン)を再トレーニングする必要があるため、データ収集プロセスはモデル全体のライフサイクルにおいて極めて重要でコストがかかる。 本稿では,人間のアノテータをLarge Language Models (LLMs) に置き換える手法を提案する。

関連論文リスト

• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Harnessing the Power of Beta Scoring in Deep Active Learning for Multi-Label Text Classification [6.662167018900634]
  本研究は,期待損失削減フレームワーク内の適切なスコアリングルールのベータファミリを活かした,新たなアクティブな学習戦略を提案する。 これはBeta Scoring Rulesを使って期待されるスコアの増加を計算し、次にサンプルベクトル表現に変換する。 合成データセットと実データセットの総合的な評価により,複数ラベルのテキスト分類において,確立された取得技術を上回る性能が得られた。
  論文  参考訳（メタデータ） (2024-01-15T00:06:24Z)
• Self-Supervised Representation Learning for Online Handwriting Text Classification [0.8594140167290099]
  本稿では,日本語と中国語の個人によるオンライン筆跡から情報表現を抽出するための事前学習の前提として,新しいストロークマスキング(POSM)を提案する。 抽出した表現の質を評価するために,本質的評価法と外生的評価法の両方を用いる。 事前訓練されたモデルは、作家の識別、性別分類、手書きの分類といったタスクにおいて、最先端の結果を達成するために微調整される。
  論文  参考訳（メタデータ） (2023-10-10T14:07:49Z)
• Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models [37.39843935632105]
  ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。 その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-13T12:11:36Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。