論文の概要: Language Models to Support Multi-Label Classification of Industrial Data
- arxiv url: http://arxiv.org/abs/2504.15922v2
- Date: Wed, 23 Apr 2025 07:24:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.796081
- Title: Language Models to Support Multi-Label Classification of Industrial Data
- Title（参考訳）: 産業データのマルチラベル分類を支援する言語モデル
- Authors: Waleed Abdeen, Michael Unterkalmsteiner, Krzysztof Wnuk, Alessio Ferrari, Panagiota Chatzipetrou,
- Abstract要約: 要求追跡をサポートするために設計された分類に従って、要求を分類することに注力する。
私たちの基本的な真実は、377の要件と6つの出力空間の1968のラベルを含む。
マルチラベル要求分類にZSLを用いることで、有望な結果が得られると結論付けている。
- 参考スコア（独自算出の注目度）: 4.759965976769317
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-label requirements classification is a challenging task, especially when dealing with numerous classes at varying levels of abstraction. The difficulties increases when a limited number of requirements is available to train a supervised classifier. Zero-shot learning (ZSL) does not require training data and can potentially address this problem. This paper investigates the performance of zero-shot classifiers (ZSCs) on a multi-label industrial dataset. We focuse on classifying requirements according to a taxonomy designed to support requirements tracing. We compare multiple variants of ZSCs using different embeddings, including 9 language models (LMs) with a reduced number of parameters (up to 3B), e.g., BERT, and 5 large LMs (LLMs) with a large number of parameters (up to 70B), e.g., Llama. Our ground truth includes 377 requirements and 1968 labels from 6 output spaces. For the evaluation, we adopt traditional metrics, i.e., precision, recall, F1, and $F_\beta$, as well as a novel label distance metric Dn. This aims to better capture the classification's hierarchical nature and provides a more nuanced evaluation of how far the results are from the ground truth. 1) The top-performing model on 5 out of 6 output spaces is T5-xl, with maximum $F_\beta$ = 0.78 and Dn = 0.04, while BERT base outperformed the other models in one case, with maximum $F_\beta$ = 0.83 and Dn = 0.04. 2) LMs with smaller parameter size produce the best classification results compared to LLMs. Thus, addressing the problem in practice is feasible as limited computing power is needed. 3) The model architecture (autoencoding, autoregression, and sentence-to-sentence) significantly affects the classifier's performance. We conclude that using ZSL for multi-label requirements classification offers promising results. We also present a novel metric that can be used to select the top-performing model for this problem
- Abstract（参考訳）: マルチラベル要求分類は、特に様々な抽象レベルで多くのクラスを扱う場合、難しい課題である。
教師付き分類器を訓練するために限られた数の要求が利用できると、困難が増す。
ゼロショット学習(ZSL)は、トレーニングデータを必要としないため、この問題に対処できる可能性がある。
本稿では,多ラベル産業データセット上でのゼロショット分類器(ZSC)の性能について検討する。
要求追跡をサポートするために設計された分類に従って、要求を分類することに注力する。
9つの言語モデル (LM) と, 最大3B, eg, BERT, 5つの大きなLM (LLM) と, 多数のパラメータ (最大70B, eg, Llama) を含む,異なる埋め込みを用いたZSCの複数変種を比較した。
私たちの基本的な真実は、377の要件と6つの出力空間の1968のラベルを含む。
評価には、従来の測度、すなわち精度、リコール、F1、$F_\beta$、およびラベル距離Dnを用いる。
これは、分類の階層的な性質をよりよく捉え、結果が根底からどれだけ遠いかをより微妙に評価することを目的としている。
1) 6つの出力空間のうち5つの最高性能モデルは T5-xl であり、最大$F_\beta$ = 0.78 と Dn = 0.04 であり、BERT は最大$F_\beta$ = 0.83 と Dn = 0.04 である。
2) パラメータサイズが小さいLMは, LLMと比較して最も優れた分類結果が得られる。
したがって、計算能力の制限が要求されるため、実際にこの問題に取り組むことは可能となる。
3) モデルアーキテクチャ (自動符号化, 自己回帰, 文から文への回帰) は, 分類器の性能に大きく影響する。
マルチラベル要求分類にZSLを用いることで、有望な結果が得られると結論付けている。
また、この問題に対するトップパフォーマンスモデルを選択するために使用できる新しい計量も提示する。
関連論文リスト
- ANLS* -- A Universal Document Processing Metric for Generative Large Language Models [40.94659575657584]
本稿ではANLS*と呼ばれる生成モデルを評価するための新しい指標を提案する。
ANLS*メトリックは、既存のANLSメトリクスをドロップ・イン・リプレースとして拡張し、以前報告されたANLSスコアと互換性がある。
また、SFTと呼ばれる文書のプロンプトを生成する新しい手法を、LATINなどの他のプロンプト技術に対してベンチマークする。
論文 参考訳（メタデータ） (2024-02-06T09:50:08Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳（メタデータ） (2024-01-24T04:28:50Z) - Which AI Technique Is Better to Classify Requirements? An Experiment with SVM, LSTM, and ChatGPT [0.4588028371034408]
本稿では,要求分類のための2つのChatGPTモデルの実証評価を報告する。
以上の結果から,全ての要件クラスに最適なテクニックは存在しないことが明らかとなった。
少数ショット設定は、主にゼロショット結果が著しく低いシナリオで有用であることが判明した。
論文 参考訳（メタデータ） (2023-11-20T05:55:05Z) - Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。
提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
論文 参考訳（メタデータ） (2023-10-20T06:49:32Z) - Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation [2.024620791810963]
本研究では,マルチラベルテキスト分類のためのPrompt Tuningとベースラインの性能をベンチマークする。
企業を投資会社の独自産業分類に分類するために適用される。
このモデルのパフォーマンスは、よく知られた企業とあまり知られていない企業の両方で一貫していることを確認します。
論文 参考訳（メタデータ） (2023-09-21T13:45:32Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Distilling Step-by-Step! Outperforming Larger Language Models with Less
Training Data and Smaller Model Sizes [91.58845026796149]
大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。
4つのNLPベンチマークで3つの結果を得た。
論文 参考訳（メタデータ） (2023-05-03T17:50:56Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳（メタデータ） (2023-03-31T03:17:23Z) - On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文 参考訳（メタデータ） (2022-06-29T22:01:29Z) - ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。
また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
論文 参考訳（メタデータ） (2022-01-04T20:08:17Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳（メタデータ） (2021-10-04T08:51:36Z) - FreaAI: Automated extraction of data slices to test machine learning
models [2.475112368179548]
本稿では,ML ソリューションが動作しない説明可能なデータスライスを実現する機能モデルの自動抽出の実現可能性を示す。
我々の新しい技術であるIBM FreaAI aka FreaAIは、構造化MLテストデータや他のラベル付きデータからそのようなスライスを抽出する。
論文 参考訳（メタデータ） (2021-08-12T09:21:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。