論文の概要: FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models

• arxiv url: http://arxiv.org/abs/2402.10986v3
• Date: Fri, 14 Jun 2024 13:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:02:29.844952
• Title: FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models
• Title（参考訳）: FinTral: GPT-4レベルのマルチモーダル金融大規模言語モデルの一家系
• Authors: Gagan Bhatia, El Moatez Billah Nagoudi, Hasan Cavusoglu, Muhammad Abdul-Mageed,
• Abstract要約: FinTralは、Mistral-7bモデルに基づいて構築された、最先端のマルチモーダル言語モデル(LLM)のスイートである。 我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。 我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
• 参考スコア（独自算出の注目度）: 18.280762424107408
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce FinTral, a suite of state-of-the-art multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis. FinTral integrates textual, numerical, tabular, and image data. We enhance FinTral with domain-specific pretraining, instruction fine-tuning, and RLAIF training by exploiting a large collection of textual and visual datasets we curate for this work. We also introduce an extensive benchmark featuring nine tasks and 25 datasets for evaluation, including hallucinations in the financial domain. Our FinTral model trained with direct preference optimization employing advanced Tools and Retrieval methods, dubbed FinTral-DPO-T&R, demonstrates an exceptional zero-shot performance. It outperforms ChatGPT-3.5 in all tasks and surpasses GPT-4 in five out of nine tasks, marking a significant advancement in AI-driven financial technology. We also demonstrate that FinTral has the potential to excel in real-time analysis and decision-making in diverse financial contexts. The GitHub repository for FinTral is available at \url{https://github.com/UBC-NLP/fintral}.
• Abstract（参考訳）: 我々は、Mistral-7bモデル上に構築され、財務分析に適した、最先端のマルチモーダル言語モデル(LLM)スイートであるFinTralを紹介する。 FinTralはテキスト、数値、表、画像データを統合する。 我々はFinTralをドメイン固有の事前トレーニング、命令の微調整、RLAIFトレーニングで強化し、本研究のためにキュレートしたテキストおよびビジュアルデータセットの大規模なコレクションを活用する。 また、金融分野における幻覚を含む9つのタスクと25のデータセットを含む広範なベンチマークも導入した。 我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。 全タスクでChatGPT-3.5を上回っ、9タスク中5タスクでGPT-4を上回っており、AI主導の金融技術の大幅な進歩を示している。 また、FinTralは、さまざまな財務状況におけるリアルタイム分析と意思決定に優れる可能性を実証した。 FinTralのGitHubリポジトリは、 \url{https://github.com/UBC-NLP/fintral}で公開されている。

関連論文リスト

• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [90.67346776473241]
  大規模言語モデル(LLM)は高度な金融アプリケーションを持っているが、十分な財務知識がなく、テーブルや時系列データといったマルチモーダル入力に関わるタスクに苦労することが多い。 我々は、総合的な財務知識をテキスト、テーブル、時系列データに組み込む一連の金融LLMであるtextitOpen-FinLLMsを紹介する。 また、複雑な財務データ型を扱うために、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAについても紹介する。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• A Survey of Large Language Models in Finance (FinLLMs) [10.195778659105626]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで顕著な機能を示している。 この調査は、FinLLMの歴史、テクニック、パフォーマンス、機会と課題を含む、包括的な概要を提供する。 ファイナンスにおけるAI研究を支援するために、アクセス可能なデータセットと評価ベンチマークのコレクションをGitHubにコンパイルします。
  論文  参考訳（メタデータ） (2024-02-04T02:06:57Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• CFGPT: Chinese Financial Assistant with Large Language Model [21.54229667774752]
  CFGPTと命名された中国の金融生成事前学習型トランスフォーマフレームワークを提案する。 CFDataは、事前トレーニングデータセットと教師付き微調整データセットの両方で構成されている。 CFLLMはCFDataで2段階の訓練を受け、事前訓練と微調整を継続する。
  論文  参考訳（メタデータ） (2023-09-19T14:34:01Z)
• FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis [15.20897845057384]
  FinVis-GPTは、財務チャート分析に特化して設計された、新しいマルチモーダル大言語モデル(LLM)である。 提案されたFinVis-GPTは、金融分野におけるマルチモーダル LLM の利用の先駆的な取り組みである。
  論文  参考訳（メタデータ） (2023-07-31T07:44:15Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• Dynamic Datasets and Market Environments for Financial Reinforcement Learning [68.11692837240756]
  FinRL-Metaは、現実世界の市場からジムスタイルの市場環境へ動的データセットを処理するライブラリである。 我々は,ユーザが新しい取引戦略を設計するための足場として,人気のある研究論文を例示し,再現する。 また、ユーザが自身の結果を視覚化し、相対的なパフォーマンスを評価するために、このライブラリをクラウドプラットフォームにデプロイします。
  論文  参考訳（メタデータ） (2023-04-25T22:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。