論文の概要: D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English

• arxiv url: http://arxiv.org/abs/2402.07405v1
• Date: Mon, 12 Feb 2024 04:50:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:46:44.754531
• Title: D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English
• Title（参考訳）: ドルか? スペイン語と英語によるLLMのバイリンガル化
• Authors: Xiao Zhang, Ruoyu Xiang, Chenhan Yuan, Duanyu Feng, Weiguang Han, Alejandro Lopez-Lira, Xiao-Yang Liu, Sophia Ananiadou, Min Peng, Jimin Huang, Qianqian Xie
• Abstract要約: Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。 7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
• 参考スコア（独自算出の注目度）: 67.48541936784501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite Spanish's pivotal role in the global finance industry, a pronounced gap exists in Spanish financial natural language processing (NLP) and application studies compared to English, especially in the era of large language models (LLMs). To bridge this gap, we unveil Tois\'on de Oro, the first bilingual framework that establishes instruction datasets, finetuned LLMs, and evaluation benchmark for financial LLMs in Spanish joint with English. We construct a rigorously curated bilingual instruction dataset including over 144K Spanish and English samples from 15 datasets covering 7 tasks. Harnessing this, we introduce FinMA-ES, an LLM designed for bilingual financial applications. We evaluate our model and existing LLMs using FLARE-ES, the first comprehensive bilingual evaluation benchmark with 21 datasets covering 9 tasks. The FLARE-ES benchmark results reveal a significant multilingual performance gap and bias in existing LLMs. FinMA-ES models surpass SOTA LLMs such as GPT-4 in Spanish financial tasks, due to strategic instruction tuning and leveraging data from diverse linguistic resources, highlighting the positive impact of cross-linguistic transfer. All our datasets, models, and benchmarks have been released.
• Abstract（参考訳）: スペインの金融業界における重要な役割にもかかわらず、スペイン語の金融自然言語処理(NLP)や、特に大きな言語モデル(LLM)の時代における応用研究において、明らかなギャップが存在する。 このギャップを埋めるため,我々は,インストラクションデータセット,微調整されたllm,スペイン語と英語による金融llmの評価ベンチマークを確立する最初のバイリンガルフレームワークであるtois\'on de oroを発表した。 7つのタスクをカバーする15のデータセットから144k以上のスペイン語と英語のサンプルを含む厳密にキュレートされたバイリンガル命令データセットを構築した。 そこで本稿では,バイリンガル金融アプリケーション用に設計されたLLMであるFinMA-ESを紹介する。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。 FLARE-ESベンチマークの結果は、既存のLLMにおいて、多言語のパフォーマンスギャップとバイアスを顕著に示している。 FinMA-ESモデルは、戦略的指導のチューニングと多様な言語資源からのデータの活用により、スペインの金融業務におけるGPT-4などのSOTA LLMを上回り、言語間移動による肯定的な影響を浮き彫りにした。 すべてのデータセット、モデル、ベンチマークがリリースされた。

関連論文リスト

• Teuken-7B-Base & Teuken-7B-Instruct: Towards European LLMs [29.595342315049106]
  我々は、欧州連合の24の公用語すべてをサポートすることで、ヨーロッパの言語多様性を受け入れるように設計された2つの多言語LLMを提示する。 モデルの開発原則、すなわちデータ構成、トークン化最適化、トレーニング方法論について詳述する。
  論文  参考訳（メタデータ） (2024-09-30T16:05:38Z)
• EuroLLM: Multilingual Language Models for Europe [76.89545643715368]
  オープンウェイトな多言語LLMの開発を目的としたEuroLLMプロジェクトを紹介した。 これまでの進捗状況を概説し、データ収集とフィルタリングプロセスについて詳述する。 マルチリンガル・ジェネラル・ベンチマークと機械翻訳の性能について報告する。
  論文  参考訳（メタデータ） (2024-09-24T16:51:36Z)
• A Survey of Large Language Models for European Languages [4.328283741894074]
  大規模言語モデル(LLM)は、多岐にわたる自然言語処理における高い性能のため、大きな注目を集めている。 LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要を報告する。 大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。
  論文  参考訳（メタデータ） (2024-08-27T13:10:05Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks [12.665447518524187]
  本研究の目的は、同一の多言語データセットで比較することで、SoTA LLMの非英語能力の徹底的な評価を行うことである。 私たちのベンチマークは、低リソースのアフリカ言語を含む83の言語をカバーする22のデータセットで構成されています。 また、データ汚染に関する研究を行い、複数のモデルが多言語評価ベンチマークで汚染される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-13T16:45:37Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。