論文の概要: German FinBERT: A German Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2311.08793v1
• Date: Wed, 15 Nov 2023 09:07:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:49:54.410115
• Title: German FinBERT: A German Pre-trained Language Model
• Title（参考訳）: German FinBERT: ドイツの事前訓練型言語モデル
• Authors: Moritz Scherrmann
• Abstract要約: 本研究は,財務テキストデータに適したドイツ語モデルである German FinBERT を提示する。 このモデルは、総合的な事前トレーニングプロセスを通じてトレーニングされ、財務報告、アドホックな発表、ドイツの企業に関するニュースを含む実質的なコーパスを活用する。 ダウンストリームタスクにおけるドイツ語FinBERTの性能,特に感情予測,話題認識,および一般的なドイツ語モデルに対する質問応答について評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study presents German FinBERT, a novel pre-trained German language model tailored for financial textual data. The model is trained through a comprehensive pre-training process, leveraging a substantial corpus comprising financial reports, ad-hoc announcements and news related to German companies. The corpus size is comparable to the data sets commonly used for training standard BERT models. I evaluate the performance of German FinBERT on downstream tasks, specifically sentiment prediction, topic recognition and question answering against generic German language models. My results demonstrate improved performance on finance-specific data, indicating the efficacy of German FinBERT in capturing domain-specific nuances. The presented findings suggest that German FinBERT holds promise as a valuable tool for financial text analysis, potentially benefiting various applications in the financial domain.
• Abstract（参考訳）: 本研究は,財務テキストデータに適したドイツ語モデルである German FinBERT を提示する。 このモデルは、総合的な事前トレーニングプロセスを通じてトレーニングされ、財務報告、アドホックな発表、ドイツの企業に関するニュースを含む実質的なコーパスを活用する。 コーパスサイズは、標準的なBERTモデルのトレーニングに一般的に使用されるデータセットに匹敵する。 ダウンストリームタスク,特に感情予測,話題認識,および一般的なドイツ語モデルに対する質問応答におけるドイツ語FinBERTの性能を評価する。 以上の結果から,金融特化データの性能が向上し,ドイツフィンベルトがドメイン特化ニュアンスを捕捉する効果が示された。 以上の結果から,ドイツFinBERTは財務テキスト分析の有用なツールとして有望であり,金融分野における様々な応用に有用である可能性が示唆された。

関連論文リスト

• Financial Sentiment Analysis on News and Reports Using Large Language Models and FinBERT [0.0]
  本稿では,大規模言語モデル(LLM)とFinBERTの財務感情分析への応用について検討する。 この研究は、感情分類精度を向上させるため、ゼロショットと少数ショット戦略による迅速なエンジニアリングの利点を強調している。
  論文  参考訳（メタデータ） (2024-10-02T19:48:17Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• Domain-Specific Language Model Post-Training for Indonesian Financial NLP [1.8377013498056056]
  BERTとIndoBERTは、いくつかのNLPタスクで素晴らしいパフォーマンスを達成した。 金融ドメインとインドネシア語に焦点を当て、金融ドメインのために事前訓練されたIndoBERTでポストトレーニングを行います。
  論文  参考訳（メタデータ） (2023-10-15T05:07:08Z)
• BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark [12.457193087920183]
  我々は、T5モデルに基づく新しい中国の金融事前学習言語モデルであるBBT-FinT5を紹介する。 BBT-FinCorpusは,4つのソースから約300GBの原文を出力する大規模財務コーパスである。
  論文  参考訳（メタデータ） (2023-02-18T22:20:37Z)
• From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French [57.886210204774834]
  我々は、近世フランス語(歴史的フランス語:16$textth$から18$textth$ century)のためのNLPツールを開発する取り組みを提示する。 我々は、近世フランス語のtextFreEM_textmax$ corpusと、$textFreEM_textmax$でトレーニングされたRoBERTaベースの言語モデルであるD'AlemBERTを提示する。
  論文  参考訳（メタデータ） (2022-02-18T22:17:22Z)
• GottBERT: a pure German Language Model [0.0]
  ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。 評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。 GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
  論文  参考訳（メタデータ） (2020-12-03T17:45:03Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Evaluating German Transformer Language Models with Syntactic Agreement Tests [63.760423764010376]
  事前学習型トランスフォーマー言語モデル(TLM)は、最近NLP(Refashioned Natural Language Processing)を改訂した。 我々は多くの合意タスクを設計し、そのうちのいくつかはドイツ語の特異性を考慮したものである。 実験結果から,現在最先端のドイツのTLMは,一般に合意作業において良好に機能することが示された。
  論文  参考訳（メタデータ） (2020-07-07T20:01:42Z)
• FinBERT: A Pretrained Language Model for Financial Communications [25.900063840368347]
  事前訓練された金融特化言語モデルはありません。 我々は、金融分野固有のBERTモデルであるFinBERTを、大規模な金融通信コーパスを用いて事前訓練することで、ニーズに対処する。 3つの財務感情分類タスクの実験は、一般的なドメインBERTモデルよりもFinBERTの利点を裏付ける。
  論文  参考訳（メタデータ） (2020-06-15T02:51:06Z)
• Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
  我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。 また,RoBERTaを改良したMacBERTモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-29T02:08:30Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。