論文の概要: Domain-Specific Language Model Post-Training for Indonesian Financial NLP

• arxiv url: http://arxiv.org/abs/2310.09736v1
• Date: Sun, 15 Oct 2023 05:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 18:28:52.689732
• Title: Domain-Specific Language Model Post-Training for Indonesian Financial NLP
• Title（参考訳）: インドネシア財務NLPのためのドメイン特化言語モデルポストトライニング
• Authors: Ni Putu Intan Maharani, Yoga Yustiawan, Fauzy Caesar Rochim, Ayu Purwarianti
• Abstract要約: BERTとIndoBERTは、いくつかのNLPタスクで素晴らしいパフォーマンスを達成した。 金融ドメインとインドネシア語に焦点を当て、金融ドメインのために事前訓練されたIndoBERTでポストトレーニングを行います。
• 参考スコア（独自算出の注目度）: 1.8377013498056056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: BERT and IndoBERT have achieved impressive performance in several NLP tasks. There has been several investigation on its adaption in specialized domains especially for English language. We focus on financial domain and Indonesian language, where we perform post-training on pre-trained IndoBERT for financial domain using a small scale of Indonesian financial corpus. In this paper, we construct an Indonesian self-supervised financial corpus, Indonesian financial sentiment analysis dataset, Indonesian financial topic classification dataset, and release a family of BERT models for financial NLP. We also evaluate the effectiveness of domain-specific post-training on sentiment analysis and topic classification tasks. Our findings indicate that the post-training increases the effectiveness of a language model when it is fine-tuned to domain-specific downstream tasks.
• Abstract（参考訳）: BERTとIndoBERTは、いくつかのNLPタスクで素晴らしいパフォーマンスを達成した。 専門分野、特に英語への適応についていくつかの調査がなされている。 我々は,インドネシアの金融分野とインドネシア語に注目し,インドネシアの金融コーパスを小規模に活用して,金融分野の事前訓練を行う。 本稿では、インドネシアの自己監督型金融コーパス、インドネシアの金融感情分析データセット、インドネシアの金融トピック分類データセットを構築し、財務NLPのためのBERTモデルのファミリーをリリースする。 また,感情分析と話題分類タスクにおけるドメイン特化後学習の有効性も評価した。 本研究は,ドメイン固有の下流タスクに微調整することで,言語モデルの有効性が向上することを示す。

関連論文リスト

• Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
  大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。 我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。 本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T16:15:04Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing [22.754757518792395]
  FinLMEvalは金融言語モデル評価のためのフレームワークである。 本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
  論文  参考訳（メタデータ） (2023-10-19T11:43:15Z)
• Domain Adaptation for Arabic Machine Translation: The Case of Financial Texts [0.7673339435080445]
  金融分野でアラビア英語(AR-EN)翻訳のための並列コーパスを開発する。 我々は、ChatGPT-3.5 Turboを含むいくつかのNMTおよびLarge Languageモデルを微調整する。 ChatGPT翻訳の品質は, 自動評価および人的評価に基づく他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-22T13:37:19Z)
• Removing Non-Stationary Knowledge From Pre-Trained Language Models for Entity-Level Sentiment Classification in Finance [0.0]
  KorFinASCは韓国のアスペクトレベルの感情分類データセットで、12,613人の注釈付きサンプルで構成されている。 我々は「非定常知識」という用語を、以前正しかったが変化しそうな情報を指すために使用し、新しいマスキングパターンである「TGT-Masking」を提示する。
  論文  参考訳（メタデータ） (2023-01-09T01:26:55Z)
• One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia [60.87739250251769]
  インドネシアの700以上の言語を対象としたNLP研究の現状について概説する。 インドネシアのNLPにおける課題と、現在のNLPシステムの性能にどのように影響するかを強調します。
  論文  参考訳（メタデータ） (2022-03-24T22:07:22Z)
• FinEAS: Financial Embedding Analysis of Sentiment [0.0]
  FinEAS(Financial Embedding Analysis of Sentiment)と呼ばれる新しい言語表現モデルを導入する。 本研究では,標準的なBERTモデルからの教師付き微調整文の埋め込みに基づく財務感情分析の新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-31T15:41:56Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• FinBERT: A Pretrained Language Model for Financial Communications [25.900063840368347]
  事前訓練された金融特化言語モデルはありません。 我々は、金融分野固有のBERTモデルであるFinBERTを、大規模な金融通信コーパスを用いて事前訓練することで、ニーズに対処する。 3つの財務感情分類タスクの実験は、一般的なドメインBERTモデルよりもFinBERTの利点を裏付ける。
  論文  参考訳（メタデータ） (2020-06-15T02:51:06Z)
• DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis [71.40586258509394]
  本研究では、ドメイン内コーパスと関連するドメインコーパスの両方から学習するためのBERTの拡張であるDomBERTを提案する。 アスペクトベース感情分析における課題の整理実験を行い、有望な結果を示す。
  論文  参考訳（メタデータ） (2020-04-28T21:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。