論文の概要: Adaptable and Reliable Text Classification using Large Language Models

• arxiv url: http://arxiv.org/abs/2405.10523v2
• Date: Tue, 22 Oct 2024 01:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 18:22:37.139264
• Title: Adaptable and Reliable Text Classification using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた適応的・信頼性のあるテキスト分類
• Authors: Zhiqiang Wang, Yiran Pang, Yanbin Lin, Xingquan Zhu,
• Abstract要約: 本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。 我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。 システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
• 参考スコア（独自算出の注目度）: 7.962669028039958
• License:
• Abstract: Text classification is fundamental in Natural Language Processing (NLP), and the advent of Large Language Models (LLMs) has revolutionized the field. This paper introduces an adaptable and reliable text classification paradigm, which leverages LLMs as the core component to address text classification tasks. Our system simplifies the traditional text classification workflows, reducing the need for extensive preprocessing and domain-specific expertise to deliver adaptable and reliable text classification results. We evaluated the performance of several LLMs, machine learning algorithms, and neural network-based architectures on four diverse datasets. Results demonstrate that certain LLMs surpass traditional methods in sentiment analysis, spam SMS detection, and multi-label classification. Furthermore, it is shown that the system's performance can be further enhanced through few-shot or fine-tuning strategies, making the fine-tuned model the top performer across all datasets. Source code and datasets are available in this GitHub repository: https://github.com/yeyimilk/llm-zero-shot-classifiers.
• Abstract（参考訳）: テキスト分類は自然言語処理(NLP)の基本であり、Large Language Models(LLM)の出現はこの分野に革命をもたらした。 本稿では、LLMを中核コンポーネントとして活用し、テキスト分類タスクに対処する適応的で信頼性の高いテキスト分類パラダイムを提案する。 我々のシステムは従来のテキスト分類ワークフローを単純化し、適応的で信頼性の高いテキスト分類結果を提供するために、広範囲の事前処理とドメイン固有の専門知識の必要性を減らす。 我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。 その結果, 感情分析, スパムSMS検出, マルチラベル分類において, LLMが従来の手法を超越していることが示唆された。 さらに、いくつかのショットや微調整の戦略によってシステムのパフォーマンスをさらに向上できることが示され、細調整されたモデルがすべてのデータセットでトップパフォーマーとなる。 ソースコードとデータセットは、GitHubリポジトリで入手できる。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• AutoML-guided Fusion of Entity and LLM-based Representations for Document Classification [43.56253799373878]
  本研究は, 知識ベースから埋め込み情報を注入することで, テキスト分類作業において, 現代言語モデル(LLM)に基づく表現の性能を向上できることを実証する。 融合表現空間を持つ自動機械学習(AutoML)を考慮し、原表現空間の低次元投影を用いても分類精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-08-19T08:41:40Z)
• Neural Architecture Search for Sentence Classification with BERT [4.862490782515929]
  計算コストが小さいだけで,現在の単一層よりも優れたアーキテクチャを見つけるために,AutoML検索を実行します。 GLUEデータセットから,様々なNLPベンチマークを用いて分類アーキテクチャを検証する。
  論文  参考訳（メタデータ） (2024-03-27T13:25:43Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Large Language Models Are Zero-Shot Text Classifiers [3.617781755808837]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の様々なサブカテゴリで広く使われている。 NLPでは、テキスト分類の問題はかなりの焦点が当てられているが、高価な計算コスト、時間消費、目に見えないクラスに対する堅牢なパフォーマンスに関連するいくつかの制限に直面している。 思考促進チェーン(CoT)の提案により、ステップ推論プロンプトを用いてゼロショット学習(ZSL)を用いてLLMを実装できる。
  論文  参考訳（メタデータ） (2023-12-02T06:33:23Z)
• Token Prediction as Implicit Classification to Identify LLM-Generated Text [37.89852204279844]
  本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。 ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。 実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
  論文  参考訳（メタデータ） (2023-11-15T06:33:52Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Many-Class Text Classification with Matching [65.74328417321738]
  textbfText textbfClassification をテキストとラベル間のtextbfMatching 問題として定式化し,TCM というシンプルなフレームワークを提案する。 従来のテキスト分類手法と比較して、TCMは分類ラベルのきめ細かい意味情報を活用している。
  論文  参考訳（メタデータ） (2022-05-23T15:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。