Fugu-MT 論文翻訳(概要): Removing Non-Stationary Knowledge From Pre-Trained Language Models for Entity-Level Sentiment Classification in Finance

論文の概要: Removing Non-Stationary Knowledge From Pre-Trained Language Models for Entity-Level Sentiment Classification in Finance

arxiv url: http://arxiv.org/abs/2301.03136v1
Date: Mon, 9 Jan 2023 01:26:55 GMT
ステータス: 処理完了
システム内更新日: 2023-01-10 16:16:27.028210
Title: Removing Non-Stationary Knowledge From Pre-Trained Language Models for Entity-Level Sentiment Classification in Finance
Title（参考訳）: 金融におけるエンティティレベルの感情分類のための事前学習言語モデルからの非定常知識の除去
Authors: Guijin Son, Hanwool Lee, Nahyeon Kang, Moonjeong Hahm
Abstract要約: KorFinASCは韓国のアスペクトレベルの感情分類データセットで、12,613人の注釈付きサンプルで構成されている。我々は「非定常知識」という用語を、以前正しかったが変化しそうな情報を指すために使用し、新しいマスキングパターンである「TGT-Masking」を提示する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Extraction of sentiment signals from news text, stock message boards, and business reports, for stock movement prediction, has been a rising field of interest in finance. Building upon past literature, the most recent works attempt to better capture sentiment from sentences with complex syntactic structures by introducing aspect-level sentiment classification (ASC). Despite the growing interest, however, fine-grained sentiment analysis has not been fully explored in non-English literature due to the shortage of annotated finance-specific data. Accordingly, it is necessary for non-English languages to leverage datasets and pre-trained language models (PLM) of different domains, languages, and tasks to best their performance. To facilitate finance-specific ASC research in the Korean language, we build KorFinASC, a Korean aspect-level sentiment classification dataset for finance consisting of 12,613 human-annotated samples, and explore methods of intermediate transfer learning. Our experiments indicate that past research has been ignorant towards the potentially wrong knowledge of financial entities encoded during the training phase, which has overestimated the predictive power of PLMs. In our work, we use the term "non-stationary knowledge'' to refer to information that was previously correct but is likely to change, and present "TGT-Masking'', a novel masking pattern to restrict PLMs from speculating knowledge of the kind. Finally, through a series of transfer learning with TGT-Masking applied we improve 22.63% of classification accuracy compared to standalone models on KorFinASC.
Abstract（参考訳）: ニューステキスト、株価掲示板、事業報告から感情信号を抽出し、株価の動きを予測することは、金融への関心が高まりつつある。過去の文献に基づいて、最も最近の研究は、アスペクトレベルの感情分類(ASC)を導入して、複雑な構文構造を持つ文からの感情をよりよく捉えようとするものである。しかし、関心が高まりつつも、注釈付き財務データ不足のため、英語以外の文献では微粒な感情分析が完全には研究されていない。したがって、非英語言語は、異なるドメイン、言語、タスクのデータセットと事前訓練された言語モデル(PLM)を最大限に活用する必要がある。韓国語における金融特化ASC研究を促進するために,12,613人の注釈付きサンプルからなる金融用アスペクトレベル感情分類データセットKorFinASCを構築し,中間転写学習の方法を探る。本実験は, PLMの予測能力を過大評価している, トレーニング期間中に符号化された金融機関の潜在的な誤った知識について, 過去の研究は無知であったことを示唆している。本研究では,これまで正しかったが変化しそうな情報を「非定常知識」と表現し,plmがこの種の知識を推測することを制限した新しいマスキングパターン「tgt-masking」を提示する。最後に,tgt-maskingを用いた一連のトランスファー学習により,korfinascのスタンドアロンモデルと比較して,分類精度が22.63%向上した。

関連論文リスト

Leveraging Transformer-Based Models for Predicting Inflection Classes of Words in an Endangered Sami Language [1.788784870849724]
本論文では,Skolt Samiの語彙的特徴と形態的特徴を分類するために,トランスフォーマーモデルを用いた学習手法を提案する。この研究の背後にある動機は、スコルト・サーミのような少数言語のための言語保存と再生活動を支援することである。本モデルでは,POS分類では平均重み付きF1スコアが1.00であり,屈折分類では0.81である。
論文参考訳（メタデータ） (2024-11-04T19:41:16Z)
Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文参考訳（メタデータ） (2024-06-05T20:19:09Z)
Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。我々はこの仮説を言語間タスクの範囲内で批判的に検証する。タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
論文参考訳（メタデータ） (2024-04-25T17:19:36Z)
Ukrainian Texts Classification: Exploration of Cross-lingual Knowledge Transfer Approaches [11.508759658889382]
典型的なテキスト分類タスクにはウクライナのコーパスが欠如している。手動データキュレーションを回避するために,言語間知識伝達手法について検討する。 3つのテキスト分類タスクに対するアプローチを検証した。
論文参考訳（メタデータ） (2024-04-02T15:37:09Z)
ESG Classification by Implicit Rule Learning via GPT-4 [1.9702372005978506]
本稿では,GPT-4のような最先端言語モデルが未知のESG評価基準に適合するようにガイドできるかどうかを検討する。韓国における共有タスクML-ESG-3Impact Type Trackの2位にランク付けすることで,これらのアプローチの有効性を実証する。
論文参考訳（メタデータ） (2024-03-22T08:45:30Z)
Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文参考訳（メタデータ） (2024-01-11T03:04:38Z)
Pre-trained Large Language Models for Financial Sentiment Analysis [10.683185786541596]
オープンソースのLlama2-7Bモデル(2023)を教師付き微調整(SFT)技術で適用する。我々の手法は従来の最先端のアルゴリズムよりも大幅に優れている。
論文参考訳（メタデータ） (2024-01-10T15:27:41Z)
LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
論文参考訳（メタデータ） (2024-01-02T06:29:02Z)
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文参考訳（メタデータ） (2023-07-16T00:45:42Z)
Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
論文参考訳（メタデータ） (2022-12-14T13:41:49Z)
Detecting ESG topics using domain-specific language models and data augmentation approaches [3.3332986505989446]
金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。本稿では,これらの問題を緩和するための2つのアプローチについて検討する。まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
論文参考訳（メタデータ） (2020-10-16T11:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。