論文の概要: Fine-Tuning Large Language Models for Scientific Text Classification: A Comparative Study

• arxiv url: http://arxiv.org/abs/2412.00098v1
• Date: Wed, 27 Nov 2024 18:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:12.255959
• Title: Fine-Tuning Large Language Models for Scientific Text Classification: A Comparative Study
• Title（参考訳）: 科学的テキスト分類のための微調整大言語モデルの比較研究
• Authors: Zhyar Rzgar K Rostam, Gábor Kertész,
• Abstract要約: トランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて大きな成功を収めている。 しかし、汎用LLMは、専門用語や不均衡なデータのような独特な課題のために、科学的なテキストのようなドメイン固有のコンテンツに苦しむことが多い。 本研究では,SciBERT,BioBERT,BlueBERTを3つのデータセットに微調整し,その性能を科学的テキスト分類で評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The exponential growth of online textual content across diverse domains has necessitated advanced methods for automated text classification. Large Language Models (LLMs) based on transformer architectures have shown significant success in this area, particularly in natural language processing (NLP) tasks. However, general-purpose LLMs often struggle with domain-specific content, such as scientific texts, due to unique challenges like specialized vocabulary and imbalanced data. In this study, we fine-tune four state-of-the-art LLMs BERT, SciBERT, BioBERT, and BlueBERT on three datasets derived from the WoS-46985 dataset to evaluate their performance in scientific text classification. Our experiments reveal that domain-specific models, particularly SciBERT, consistently outperform general-purpose models in both abstract-based and keyword-based classification tasks. Additionally, we compare our achieved results with those reported in the literature for deep learning models, further highlighting the advantages of LLMs, especially when utilized in specific domains. The findings emphasize the importance of domain-specific adaptations for LLMs to enhance their effectiveness in specialized text classification tasks.
• Abstract（参考訳）: 多様なドメインにわたるオンラインテキストコンテンツの指数関数的成長は、自動テキスト分類のための高度な手法を必要としている。 トランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)は、特に自然言語処理(NLP)タスクにおいてこの分野で大きな成功を収めている。 しかし、汎用LLMは、専門用語や不均衡なデータのような独特な課題のために、科学的なテキストのようなドメイン固有のコンテンツに苦しむことが多い。 本研究では,WoS-46985データセットから得られた3つのデータセットに対して,最先端のLLM BERT,SciBERT,BioBERT,BlueBERTを微調整し,その性能評価を行った。 実験の結果,ドメイン固有モデル,特にSciBERTは,抽象的およびキーワードに基づく分類タスクにおいて,汎用モデルよりも一貫して優れていることがわかった。 さらに,本研究で得られた成果を,ディープラーニングモデルに関する文献で報告した結果と比較し,特に特定の領域で活用する場合のLLMのメリットをさらに強調する。 本研究は,特殊なテキスト分類タスクにおいて,LLMに対するドメイン固有適応の重要性を強調した。

関連論文リスト

• Analysis of LLM as a grammatical feature tagger for African American English [0.6927055673104935]
  アフリカ系アメリカ人英語(AAE)は自然言語処理(NLP)に固有の課題を提示している 本研究では,利用可能なNLPモデルの性能を体系的に比較する。 本研究は,AAEの固有の言語特性をよりよく適合させるために,モデルトレーニングとアーキテクチャ調整の改善の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-09T19:46:33Z)
• LLM-based feature generation from text for interpretable machine learning [0.0]
  埋め込みやback-of-wordsのような既存のテキスト表現は、その高次元性や欠落、あるいは疑わしい特徴レベルの解釈性のため、ルール学習には適さない。 本稿では,テキストから少数の解釈可能な特徴を抽出することにより,大規模言語モデル(LLM)がこの問題に対処できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-09-11T09:29:28Z)
• Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
  本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。 我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。 システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
  論文  参考訳（メタデータ） (2024-05-17T04:05:05Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Attention is Not Always What You Need: Towards Efficient Classification of Domain-Specific Text [1.1508304497344637]
  階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。 ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。 PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
  論文  参考訳（メタデータ） (2023-03-31T03:17:23Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• A Survey on Recent Advances in Sequence Labeling from Deep Learning Models [19.753741555478793]
  シーケンスラベリングは、様々なタスクを含む基本的な研究課題である。 ディープラーニングは、複雑な機能を自動的に学習する強力な能力のため、シーケンスラベリングタスクに使用されている。
  論文  参考訳（メタデータ） (2020-11-13T02:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。