論文の概要: Evaluating the performance of state-of-the-art esg domain-specific pre-trained large language models in text classification against existing models and traditional machine learning techniques

• arxiv url: http://arxiv.org/abs/2410.00207v1
• Date: Mon, 30 Sep 2024 20:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:56:01.913812
• Title: Evaluating the performance of state-of-the-art esg domain-specific pre-trained large language models in text classification against existing models and traditional machine learning techniques
• Title（参考訳）: 既存のモデルと従来の機械学習技術を用いたテキスト分類における最先端のesgドメイン固有の事前訓練された大規模言語モデルの性能評価
• Authors: Tin Yuet Chung, Majid Latifi,
• Abstract要約: 本研究では,テキスト開示における環境・社会・ガバナンス情報(ESG)の分類について検討する。 本研究の目的は,E,S,G関連コンテンツをそれぞれ正確に識別・分類できるバイナリ分類モデルを開発し,評価することである。 この研究の動機は、投資決定におけるESGの考慮と企業説明責任の増大に起因している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research investigates the classification of Environmental, Social, and Governance (ESG) information within textual disclosures. The aim is to develop and evaluate binary classification models capable of accurately identifying and categorizing E, S and G-related content respectively. The motivation for this research stems from the growing importance of ESG considerations in investment decisions and corporate accountability. Accurate and efficient classification of ESG information is crucial for stakeholders to understand the impact of companies on sustainability and to make informed decisions. The research uses a quantitative approach involving data collection, data preprocessing, and the development of ESG-focused Large Language Models (LLMs) and traditional machine learning (Support Vector Machines, XGBoost) classifiers. Performance evaluation guides iterative refinement until satisfactory metrics are achieved. The research compares traditional machine learning techniques (Support Vector Machines, XGBoost), state-of-the-art language model (FinBERT-ESG) and fine-tuned LLMs like Llama 2, by employing standard Natural Language Processing performance metrics such as accuracy, precision, recall, F1-score. A novel fine-tuning method, Qlora, is applied to LLMs, resulting in significant performance improvements across all ESG domains. The research also develops domain-specific fine-tuned models, such as EnvLlama 2-Qlora, SocLlama 2-Qlora, and GovLlama 2-Qlora, which demonstrate impressive results in ESG text classification.
• Abstract（参考訳）: 本研究では,テキスト開示における環境・社会・ガバナンス情報(ESG)の分類について検討する。 本研究の目的は,E,S,G関連コンテンツをそれぞれ正確に識別・分類できるバイナリ分類モデルを開発し,評価することである。 この研究の動機は、投資決定におけるESGの考慮と企業説明責任の増大に起因している。 ESG情報の正確かつ効率的な分類は、企業の持続可能性への影響を理解し、情報的意思決定を行うことが、ステークホルダーにとって不可欠である。 この研究は、データ収集、データ前処理、ESGにフォーカスしたLarge Language Models(LLM)と従来の機械学習(Support Vector Machines, XGBoost)の分類器の開発を含む定量的アプローチを用いている。 パフォーマンス評価は、満足のいくメトリクスが達成されるまで反復的な改善を導く。 この研究は、従来の機械学習技術(Support Vector Machines、XGBoost)、最先端言語モデル(FinBERT-ESG)、Llama 2のような微調整されたLLMを、精度、精度、リコール、F1スコアといった標準的な自然言語処理のパフォーマンス指標を用いて比較した。 新たな微調整手法 Qlora が LLM に適用され,ESG ドメイン全体の性能が大幅に向上した。 この研究はまた、EnvLlama 2-Qlora、SocLlama 2-Qlora、GovLlama 2-Qloraといったドメイン固有の微調整モデルも開発しており、ESGテキスト分類における顕著な結果を示している。

関連論文リスト

• Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
  本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。 ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-24T00:49:46Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Annotation Guidelines-Based Knowledge Augmentation: Towards Enhancing Large Language Models for Educational Text Classification [11.69740323250258]
  大規模言語モデル(LLM)を改善するためのガイドラインベース知識拡張(AGKA)アプローチを提案する。 AGKAはGPT 4.0を使用して、アノテーションガイドラインからラベル定義の知識を取得し、ランダムアンダーサンプラーを適用していくつかの典型的な例を選択する。 実験の結果、AGKAは非微調整LDM(特にGPT 4.0とLlama 3 70B)を増強できることが示された。
  論文  参考訳（メタデータ） (2024-06-03T03:09:01Z)
• Performance evaluation of Reddit Comments using Machine Learning and Natural Language Processing methods in Sentiment Analysis [0.764671395172401]
  我々は、Reddit上で58,000のコメントを寄せ集め、感情分析手法を評価した。 我々の研究は、様々なモデルの配列を評価することによって、範囲を広げる。 以上の結果から,RoBERTaモデルはベースラインモデルよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-27T03:59:28Z)
• Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
  NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。 目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
  論文  参考訳（メタデータ） (2024-05-07T09:05:20Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。