論文の概要: Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

• arxiv url: http://arxiv.org/abs/2408.11878v2
• Date: Wed, 02 Apr 2025 14:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:15:54.567567
• Title: Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications
• Title（参考訳）: Open-FinLLMs:金融アプリケーションのためのオープンマルチモーダル大規模言語モデル
• Authors: Jimin Huang, Mengxi Xiao, Dong Li, Zihao Jiang, Yuzhe Yang, Yifei Zhang, Lingfei Qian, Yan Wang, Xueqing Peng, Yang Ren, Ruoyu Xiang, Zhengyu Chen, Xiao Zhang, Yueru He, Weiguang Han, Shunian Chen, Lihang Shen, Daniel Kim, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Guojun Xiong, Zhiwei Liu, Zheheng Luo, Zhiyuan Yao, Ruey-Ling Weng, Meikang Qiu, Kaleb E Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jian-Yun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Qianqian Xie, Sophia Ananiadou, Junichi Tsujii,
• Abstract要約: オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。 FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。 我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
• 参考スコア（独自算出の注目度）: 88.96861155804935
• License:
• Abstract: Financial LLMs hold promise for advancing financial tasks and domain-specific applications. However, they are limited by scarce corpora, weak multimodal capabilities, and narrow evaluations, making them less suited for real-world application. To address this, we introduce \textit{Open-FinLLMs}, the first open-source multimodal financial LLMs designed to handle diverse tasks across text, tabular, time-series, and chart data, excelling in zero-shot, few-shot, and fine-tuning settings. The suite includes FinLLaMA, pre-trained on a comprehensive 52-billion-token corpus; FinLLaMA-Instruct, fine-tuned with 573K financial instructions; and FinLLaVA, enhanced with 1.43M multimodal tuning pairs for strong cross-modal reasoning. We comprehensively evaluate Open-FinLLMs across 14 financial tasks, 30 datasets, and 4 multimodal tasks in zero-shot, few-shot, and supervised fine-tuning settings, introducing two new multimodal evaluation datasets. Our results show that Open-FinLLMs outperforms afvanced financial and general LLMs such as GPT-4, across financial NLP, decision-making, and multi-modal tasks, highlighting their potential to tackle real-world challenges. To foster innovation and collaboration across academia and industry, we release all codes (https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE) and models under OSI-approved licenses.
• Abstract（参考訳）: 金融LLMは、金融業務の進展とドメイン固有の応用を約束する。 しかし、それらは少ないコーパス、弱いマルチモーダル能力、狭い評価によって制限されており、現実の応用には適さない。 そこで本研究では,テキスト,表,時系列,チャートデータなど多種多様なタスクを処理するために設計された,初のオープンソースのマルチモーダル金融 LLM である \textit{Open-FinLLMs} を紹介する。 このスイートには、52ビリオンのトーケンコーパスで事前訓練されたFinLLaMAと、573Kの財務命令で微調整されたFinLLaMA-Instructと、強力なクロスモーダル推論のために1.43Mのマルチモーダルチューニングペアで強化されたFinLLaVAが含まれている。 我々は、14の財務タスク、30のデータセット、4のマルチモーダルタスクを、ゼロショット、少数ショット、監督された微調整設定で包括的に評価し、2つの新しいマルチモーダル評価データセットを導入した。 以上の結果から,Open-FinLLMsは,金融NLP,意思決定,マルチモーダルタスクにおいて,GPT-4などの先進的かつ汎用的なLCMよりも優れており,現実の課題に対処する可能性も浮き彫りにされている。 学界や業界全体でのイノベーションとコラボレーションを促進するため、OSI承認ライセンスの下ですべてのコード(https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE)とモデルをリリースする。

関連論文リスト

• CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
  CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。 この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。 結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
  論文  参考訳（メタデータ） (2024-07-02T14:34:36Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models [18.280762424107408]
  FinTralは、Mistral-7bモデルに基づいて構築された、最先端のマルチモーダル言語モデル(LLM)のスイートである。 我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。 我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2024-02-16T05:05:12Z)
• D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English [67.48541936784501]
  Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。 7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-02-12T04:50:31Z)
• A Survey of Large Language Models in Finance (FinLLMs) [10.195778659105626]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで顕著な機能を示している。 この調査は、FinLLMの歴史、テクニック、パフォーマンス、機会と課題を含む、包括的な概要を提供する。 ファイナンスにおけるAI研究を支援するために、アクセス可能なデータセットと評価ベンチマークのコレクションをGitHubにコンパイルします。
  論文  参考訳（メタデータ） (2024-02-04T02:06:57Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis [15.20897845057384]
  FinVis-GPTは、財務チャート分析に特化して設計された、新しいマルチモーダル大言語モデル(LLM)である。 提案されたFinVis-GPTは、金融分野におけるマルチモーダル LLM の利用の先駆的な取り組みである。
  論文  参考訳（メタデータ） (2023-07-31T07:44:15Z)
• FinGPT: Democratizing Internet-scale Data for Financial Large Language Models [35.83244096535722]
  大型言語モデル (LLM) は、人間に似たテキストの理解と生成に顕著な熟練性を示した。 ファイナンシャル・ジェネレーティブ・プレトレーニング・トランスフォーマー(FinGPT)は、インターネット上の34の多様なソースからリアルタイムの財務データの収集とキュレーションを自動化する。 FinGPTは、FinLLMを民主化し、イノベーションを刺激し、オープンファイナンスにおける新たな機会を開放することを目指している。
  論文  参考訳（メタデータ） (2023-07-19T22:43:57Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。