論文の概要: Removing Non-Stationary Knowledge From Pre-Trained Language Models for
Entity-Level Sentiment Classification in Finance
- arxiv url: http://arxiv.org/abs/2301.03136v1
- Date: Mon, 9 Jan 2023 01:26:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 16:16:27.028210
- Title: Removing Non-Stationary Knowledge From Pre-Trained Language Models for
Entity-Level Sentiment Classification in Finance
- Title(参考訳): 金融におけるエンティティレベルの感情分類のための事前学習言語モデルからの非定常知識の除去
- Authors: Guijin Son, Hanwool Lee, Nahyeon Kang, Moonjeong Hahm
- Abstract要約: KorFinASCは韓国のアスペクトレベルの感情分類データセットで、12,613人の注釈付きサンプルで構成されている。
我々は「非定常知識」という用語を、以前正しかったが変化しそうな情報を指すために使用し、新しいマスキングパターンである「TGT-Masking」を提示する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extraction of sentiment signals from news text, stock message boards, and
business reports, for stock movement prediction, has been a rising field of
interest in finance. Building upon past literature, the most recent works
attempt to better capture sentiment from sentences with complex syntactic
structures by introducing aspect-level sentiment classification (ASC). Despite
the growing interest, however, fine-grained sentiment analysis has not been
fully explored in non-English literature due to the shortage of annotated
finance-specific data. Accordingly, it is necessary for non-English languages
to leverage datasets and pre-trained language models (PLM) of different
domains, languages, and tasks to best their performance. To facilitate
finance-specific ASC research in the Korean language, we build KorFinASC, a
Korean aspect-level sentiment classification dataset for finance consisting of
12,613 human-annotated samples, and explore methods of intermediate transfer
learning. Our experiments indicate that past research has been ignorant towards
the potentially wrong knowledge of financial entities encoded during the
training phase, which has overestimated the predictive power of PLMs. In our
work, we use the term "non-stationary knowledge'' to refer to information that
was previously correct but is likely to change, and present "TGT-Masking'', a
novel masking pattern to restrict PLMs from speculating knowledge of the kind.
Finally, through a series of transfer learning with TGT-Masking applied we
improve 22.63% of classification accuracy compared to standalone models on
KorFinASC.
- Abstract(参考訳): ニューステキスト、株価掲示板、事業報告から感情信号を抽出し、株価の動きを予測することは、金融への関心が高まりつつある。
過去の文献に基づいて、最も最近の研究は、アスペクトレベルの感情分類(ASC)を導入して、複雑な構文構造を持つ文からの感情をよりよく捉えようとするものである。
しかし、関心が高まりつつも、注釈付き財務データ不足のため、英語以外の文献では微粒な感情分析が完全には研究されていない。
したがって、非英語言語は、異なるドメイン、言語、タスクのデータセットと事前訓練された言語モデル(PLM)を最大限に活用する必要がある。
韓国語における金融特化ASC研究を促進するために,12,613人の注釈付きサンプルからなる金融用アスペクトレベル感情分類データセットKorFinASCを構築し,中間転写学習の方法を探る。
本実験は, PLMの予測能力を過大評価している, トレーニング期間中に符号化された金融機関の潜在的な誤った知識について, 過去の研究は無知であったことを示唆している。
本研究では,これまで正しかったが変化しそうな情報を「非定常知識」と表現し,plmがこの種の知識を推測することを制限した新しいマスキングパターン「tgt-masking」を提示する。
最後に,tgt-maskingを用いた一連のトランスファー学習により,korfinascのスタンドアロンモデルと比較して,分類精度が22.63%向上した。
関連論文リスト
- Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Natural Language Processing for Dialects of a Language: A Survey [59.78833854847185]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳(メタデータ) (2024-01-11T03:04:38Z) - Pre-trained Large Language Models for Financial Sentiment Analysis [10.683185786541596]
オープンソースのLlama2-7Bモデル(2023)を教師付き微調整(SFT)技術で適用する。
我々の手法は従来の最先端のアルゴリズムよりも大幅に優れている。
論文 参考訳(メタデータ) (2024-01-10T15:27:41Z) - LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。
本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。
C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
論文 参考訳(メタデータ) (2024-01-02T06:29:02Z) - Is ChatGPT a Financial Expert? Evaluating Language Models on Financial
Natural Language Processing [22.754757518792395]
FinLMEvalは金融言語モデル評価のためのフレームワークである。
本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
論文 参考訳(メタデータ) (2023-10-19T11:43:15Z) - Textual Data Mining for Financial Fraud Detection: A Deep Learning
Approach [0.0]
本稿では,自然言語処理(以下,NLP)のバイナリ分類タスクを,金融詐欺テキストの分析に活用する深層学習手法を提案する。
私の方法論では、埋め込み層を持つ多層パーセプトロン、Vanilla Recurrent Neural Network(RNN)、Long-Short Term Memory(LSTM)、Gated Recurrent Unit(GRU)など、さまざまな種類のニューラルネットワークモデルが関係しています。
本研究が深層学習,NLP,金融の交差点における研究の進展に寄与するため,私の研究成果は,金融不正検出に重大な影響を及ぼす。
論文 参考訳(メタデータ) (2023-08-05T15:33:10Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳(メタデータ) (2023-07-16T00:45:42Z) - Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。
大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。
本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
論文 参考訳(メタデータ) (2022-12-14T13:41:49Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Detecting ESG topics using domain-specific language models and data
augmentation approaches [3.3332986505989446]
金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。
本稿では,これらの問題を緩和するための2つのアプローチについて検討する。
まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。
次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
論文 参考訳(メタデータ) (2020-10-16T11:20:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。