論文の概要: EaSyGuide : ESG Issue Identification Framework leveraging Abilities of
Generative Large Language Models
- arxiv url: http://arxiv.org/abs/2306.06662v2
- Date: Tue, 13 Jun 2023 13:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 10:19:56.318495
- Title: EaSyGuide : ESG Issue Identification Framework leveraging Abilities of
Generative Large Language Models
- Title(参考訳): EaSyGuide : 生成型大規模言語モデルの能力を活用したESG問題同定フレームワーク
- Authors: Hanwool Lee, Jonghyun Choi, Sohyeon Kwon, Sungbum Jung
- Abstract要約: 本稿では,多言語環境・社会・コーポレートガバナンス問題識別(ML-ESG)におけるFinNLP-2023共有課題への参加について述べる。
課題は、MSCI ESG評価ガイドラインで定義された35のESGキーイシューに基づいて、ニュース記事の分類を行うことである。
我々のアプローチは、ゼロショットとGPT3Mix拡張技術とともに、CerebrasGPT、OPT、Pythiaモデルを採用した英語とフランス語のサブタスクに焦点を当てている。
- 参考スコア(独自算出の注目度): 5.388543737855513
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents our participation in the FinNLP-2023 shared task on
multi-lingual environmental, social, and corporate governance issue
identification (ML-ESG). The task's objective is to classify news articles
based on the 35 ESG key issues defined by the MSCI ESG rating guidelines. Our
approach focuses on the English and French subtasks, employing the CerebrasGPT,
OPT, and Pythia models, along with the zero-shot and GPT3Mix Augmentation
techniques. We utilize various encoder models, such as RoBERTa, DeBERTa, and
FinBERT, subjecting them to knowledge distillation and additional training.
Our approach yielded exceptional results, securing the first position in the
English text subtask with F1-score 0.69 and the second position in the French
text subtask with F1-score 0.78. These outcomes underscore the effectiveness of
our methodology in identifying ESG issues in news articles across different
languages. Our findings contribute to the exploration of ESG topics and
highlight the potential of leveraging advanced language models for ESG issue
identification.
- Abstract(参考訳): 本稿では,多言語環境・社会・コーポレートガバナンス問題識別(ML-ESG)におけるFinNLP-2023共有タスクへの参加について述べる。
課題は、MSCI ESG評価ガイドラインで定義された35のESGキー問題に基づいて、ニュース記事の分類を行うことである。
我々のアプローチは英語とフランス語のサブタスクに焦点を当て、cerebrasgpt、opt、pythiaモデルとゼロショットとgpt3mixの強化技術を採用している。
我々は,RoBERTa,DeBERTa,FinBERTなどのエンコーダモデルを用いて,知識蒸留と追加訓練を行う。
F1スコア0.69の英語テキストサブタスクで第1位、F1スコア0.78のフランス語テキストサブタスクで第2位を確保した。
これらの結果は,様々な言語にわたるニュース記事において,ESG問題を特定する手法の有効性を裏付けるものである。
本研究は,ESGトピックの探索に寄与し,ESG問題識別に先進言語モデルを活用する可能性を強調した。
関連論文リスト
- Enhancing ESG Impact Type Identification through Early Fusion and
Multilingual Models [4.97890110201934]
本稿では,アンサンブル学習技術を活用し,早期・後期の融合アプローチを活かした包括的システムを提案する。
提案手法では,mBERT,FrauBERT-base,ALBERT-base-v2,Latent Semantic Analysis (LSA) とTerm Frequency-Inverse Document Frequency (TF-IDF) の4つの異なるモデルを用いている。
LSA、TF-IDF、mBERT、FrauBERT-base、ALBERT-base-v2を統合した初期の融合アンサンブルアプローチは、より広範な実験によって実現されている。
論文 参考訳(メタデータ) (2024-02-16T15:54:24Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning:
Insights and Observations [90.73517523001149]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
翻訳を利用して,最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
我々は、MathOctopusという名の強力なxMR LLMを構築するための異なるトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-10-31T08:09:20Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳(メタデータ) (2023-10-27T06:48:48Z) - Text Summarization Using Large Language Models: A Comparative Study of
MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models [0.0]
Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。
本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
論文 参考訳(メタデータ) (2023-10-16T14:33:02Z) - Leveraging BERT Language Models for Multi-Lingual ESG Issue
Identification [0.30254881201174333]
投資家は投資選択におけるESG基準の重要性をますます認識している。
ML-ESG(Multi-Lingual ESG Issue Identification)タスクは、ニュース文書を35の異なるESGイシューラベルに分類する。
本研究では,BERT言語モデルを用いた複数の手法を探索し,これらのラベル間のニュース文書の正確な分類を実現する。
論文 参考訳(メタデータ) (2023-09-05T12:48:21Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳(メタデータ) (2023-04-12T05:08:52Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - Using contextual sentence analysis models to recognize ESG concepts [8.905370601886112]
本稿では,ラ・ロシェル大学のTrading Central LabsとL3i研究所のFinSim-4評価キャンペーンの2つのサブタスクへの参加について要約する。
第1のサブタスクは「Fortia ESG分類」を新しい辞書エントリで強化することを目的としており、第2のタスクは、ESGに関連する要因に関して文を「持続可能」または「持続不可能」に分類することを目的としている。
論文 参考訳(メタデータ) (2022-07-04T13:33:21Z) - GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for
Offensive Language Detection [27.45642971636561]
OffensEval 2020タスクには、攻撃的言語(Sub-task A)の存在の特定、攻撃的言語(Sub-task B)のターゲットの存在の特定、ターゲットのカテゴリ(Sub-task C)の識別の3つのサブタスクが含まれている。
サブタスクAのF1スコアは91.7%、サブタスクBの66.5%、サブタスクCの63.2%である。
論文 参考訳(メタデータ) (2020-07-28T20:45:43Z) - Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。
我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。
GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-05-28T17:29:03Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳(メタデータ) (2020-04-28T11:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。