論文の概要: Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

• arxiv url: http://arxiv.org/abs/2502.18772v1
• Date: Wed, 26 Feb 2025 03:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:02.979257
• Title: Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance
• Title（参考訳）: Plutus: 低リソースのギリシャ財務における大規模言語モデルのベンチマーク
• Authors: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou,
• Abstract要約: Plutus-benはギリシャ初の金融評価ベンチマークであり、Plutus-8Bはギリシャの金融LLMの先駆者である。 専門ギリシャ語話者によって完全に注釈付けされた3つの新しい高品質なギリシャ語の財務データセットを提示する。 Plutus-ben上での22 LLMの包括的評価から,ギリシャの金融NLPは,言語的複雑性,ドメイン固有の用語,財政的推論のギャップのため,依然として困難なままであることが明らかとなった。
• 参考スコア（独自算出の注目度）: 24.80293594803676
• License:
• Abstract: Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.
• Abstract（参考訳）: ギリシャのグローバル経済における重要な役割にもかかわらず、大きな言語モデル(LLM)は、ギリシャ語の言語的複雑さとドメイン固有のデータセットの不足のため、ギリシャの金融状況において過小評価されている。 それまでの多言語金融自然言語処理(NLP)の取り組みは、かなりの性能格差を露呈してきたが、ギリシャの金融ベンチマークやギリシャ固有の金融LLMは、これまで開発されていない。 このギャップを埋めるために、最初のギリシャ金融評価ベンチマークであるPlutus-benと、先駆的なギリシャ金融LLMであるPlutus-8Bを紹介します。 Plutus-benは、ギリシアにおける5つの中核的金融的NLPタスクに対処する: 数値的およびテキスト的名前付きエンティティ認識、質問応答、抽象的な要約、トピック分類。 これらの課題の根底には、3つの新しい高品質なギリシャ語の財務データセットがあり、2つの既存のリソースによって強化された専門ギリシャ語の話者によって完全に注釈付けされている。 Plutus-ben上での22 LLMの包括的評価から,ギリシャの金融NLPは,言語的複雑性,ドメイン固有の用語,財政的推論のギャップのため,依然として困難なままであることが明らかとなった。 これらの知見は、ギリシャ語間の移動の限界、ギリシャ語で訓練されたモデルにおける金融の専門知識の必要性、そしてギリシャ語のテキストに金融LLMを適用することの課題を浮き彫りにした。 Plutus-ben, Plutus-8Bおよび関連するすべてのデータセットを公開し、再現可能な研究を促進し、ギリシャの金融NLPを推進し、金融におけるより広範な多言語的傾倒を促進する。

関連論文リスト

• Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models [22.594428755214356]
  ゴールドタッチストーン(Golden Touchstone)は、金融用LLMの最初の総合的なバイリンガルベンチマークである。 ベンチマークには、モデルの言語理解と生成能力を徹底的に評価することを目的とした、さまざまな財務タスクが含まれている。 Touchstone-GPTをオープンソースとして公開した。
  論文  参考訳（メタデータ） (2024-11-09T20:09:11Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance [15.662858834827444]
  FinLLMは、数値変数が質問に関わったとき、財務文書を理解するのに不満足な性能を示す。 中国語金融のための数値感性大言語モデル(NumLLM)を提案する。 ファイナンシャル質問答えベンチマークの実験では、NumLLMが基礎モデルの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2024-05-01T15:17:27Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English [67.48541936784501]
  Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。 7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-02-12T04:50:31Z)
• Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing [22.754757518792395]
  FinLMEvalは金融言語モデル評価のためのフレームワークである。 本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
  論文  参考訳（メタデータ） (2023-10-19T11:43:15Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。