論文の概要: Blueprinting the Future: Automatic Item Categorization using Hierarchical Zero-Shot and Few-Shot Classifiers

• arxiv url: http://arxiv.org/abs/2312.03561v1
• Date: Wed, 6 Dec 2023 15:51:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 14:20:22.031015
• Title: Blueprinting the Future: Automatic Item Categorization using Hierarchical Zero-Shot and Few-Shot Classifiers
• Title（参考訳）: blueprinting the future: 階層型ゼロショットと少数ショット分類器を用いたアイテムの自動分類
• Authors: Ting Wang, Keith Stelter, Jenn Floyd, Thomas O'Neill, Nathaniel Hendrix, Andrew Bazemore, Kevin Rode, Warren Newton
• Abstract要約: 本研究では,ゼロショットおよび少数ショット生成事前学習変換器(GPT)を用いた階層的項目分類手法を提案する。 検査ブループリントの階層的な性質はシームレスにナビゲートされ、複数のレベルの項目を階層的に分類することができる。 人工データによる初期シミュレーションは、この方法の有効性を示し、F1スコアで測定された平均精度92.91%を達成する。
• 参考スコア（独自算出の注目度）: 6.907552533477328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In testing industry, precise item categorization is pivotal to align exam questions with the designated content domains outlined in the assessment blueprint. Traditional methods either entail manual classification, which is laborious and error-prone, or utilize machine learning requiring extensive training data, often leading to model underfit or overfit issues. This study unveils a novel approach employing the zero-shot and few-shot Generative Pretrained Transformer (GPT) classifier for hierarchical item categorization, minimizing the necessity for training data, and instead, leveraging human-like language descriptions to define categories. Through a structured python dictionary, the hierarchical nature of examination blueprints is navigated seamlessly, allowing for a tiered classification of items across multiple levels. An initial simulation with artificial data demonstrates the efficacy of this method, achieving an average accuracy of 92.91% measured by the F1 score. This method was further applied to real exam items from the 2022 In-Training Examination (ITE) conducted by the American Board of Family Medicine (ABFM), reclassifying 200 items according to a newly formulated blueprint swiftly in 15 minutes, a task that traditionally could span several days among editors and physicians. This innovative approach not only drastically cuts down classification time but also ensures a consistent, principle-driven categorization, minimizing human biases and discrepancies. The ability to refine classifications by adjusting definitions adds to its robustness and sustainability.
• Abstract（参考訳）: テスト業界では、評価青写真に記載された指定内容領域と試験質問を整合させるため、正確な項目分類が重要となる。 従来の手法では、手動の分類は面倒でエラーを起こしやすいか、あるいは広範囲のトレーニングデータを必要とする機械学習を利用する。 本研究では,ゼロショットおよび少数ショット生成事前学習型変換器(GPT)を階層的項目分類に適用し,学習データの必要性を最小限に抑え,カテゴリ定義に人間的な言語記述を活用する新しいアプローチを明らかにする。 構造化python辞書を通じて、検査ブループリントの階層的性質はシームレスにナビゲートされ、複数のレベルにわたる項目の階層的分類が可能になる。 人工データによる初期シミュレーションは、この方法の有効性を示し、F1スコアで測定された平均精度92.91%を達成する。 この方法は、米国家庭医学会(ABFM)が実施した2022年の内科試験(ITE)の実際の試験項目にも適用され、15分で新たに作成した青写真に基づいて200項目を再分類し、伝統的に編集者や医師の間で数日にわたるタスクとなった。 この革新的なアプローチは、分類時間を劇的に削減するだけでなく、一貫性のある原則駆動の分類を保証する。 定義を調整して分類を洗練する能力は、その堅牢性と持続可能性を高める。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Learn to Categorize or Categorize to Learn? Self-Coding for Generalized Category Discovery [49.1865089933055]
  テスト時に未知のカテゴリを発見できる新しい,効率的かつ自己管理手法を提案する。 このアプローチの健全な特徴は、個々のデータインスタンスに最小長のカテゴリコードの割り当てである。 試行錯誤による評価は, 提案手法の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-10-30T17:45:32Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Novel Class Discovery without Forgetting [72.52222295216062]
  我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。 ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
  論文  参考訳（メタデータ） (2022-07-21T17:54:36Z)
• Cluster & Tune: Boost Cold Start Performance in Text Classification [21.957605438780224]
  実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。 中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-20T15:29:34Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
  そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。 ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
  論文  参考訳（メタデータ） (2020-10-28T14:37:25Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。