論文の概要: FinGPT: Instruction Tuning Benchmark for Open-Source Large Language
Models in Financial Datasets
- arxiv url: http://arxiv.org/abs/2310.04793v2
- Date: Sat, 11 Nov 2023 06:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 20:28:36.009618
- Title: FinGPT: Instruction Tuning Benchmark for Open-Source Large Language
Models in Financial Datasets
- Title(参考訳): FinGPT:財務データセットにおけるオープンソースの大規模言語モデルのインストラクションチューニングベンチマーク
- Authors: Neng Wang, Hongyang Yang, Christina Dan Wang
- Abstract要約: 本稿では,オープンソースの大規模言語モデルに対して,インストラクションチューニングパラダイムに固有のアプローチを導入する。
私たちは、オープンソースのモデルの相互運用性に乗じて、シームレスで透過的な統合を確保します。
本稿では,エンドツーエンドのトレーニングとテストのためのベンチマーク手法を提案し,費用対効果を生かした。
- 参考スコア(独自算出の注目度): 9.714447724811842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the swiftly expanding domain of Natural Language Processing (NLP), the
potential of GPT-based models for the financial sector is increasingly evident.
However, the integration of these models with financial datasets presents
challenges, notably in determining their adeptness and relevance. This paper
introduces a distinctive approach anchored in the Instruction Tuning paradigm
for open-source large language models, specifically adapted for financial
contexts. Through this methodology, we capitalize on the interoperability of
open-source models, ensuring a seamless and transparent integration. We begin
by explaining the Instruction Tuning paradigm, highlighting its effectiveness
for immediate integration. The paper presents a benchmarking scheme designed
for end-to-end training and testing, employing a cost-effective progression.
Firstly, we assess basic competencies and fundamental tasks, such as Named
Entity Recognition (NER) and sentiment analysis to enhance specialization.
Next, we delve into a comprehensive model, executing multi-task operations by
amalgamating all instructional tunings to examine versatility. Finally, we
explore the zero-shot capabilities by earmarking unseen tasks and incorporating
novel datasets to understand adaptability in uncharted terrains. Such a
paradigm fortifies the principles of openness and reproducibility, laying a
robust foundation for future investigations in open-source financial large
language models (FinLLMs).
- Abstract(参考訳): 自然言語処理(NLP)分野が急速に拡大する中で、金融セクターにおけるGPTベースのモデルの可能性はますます明白になっている。
しかしながら、これらのモデルと財務データセットの統合は、特にその妥当性と妥当性を決定する上で、課題を提起する。
本稿では、特に財務状況に適応したオープンソースの大規模言語モデルに対して、インストラクションチューニングパラダイムに固有のアプローチを導入する。
この方法論を通じて、我々はオープンソースのモデルの相互運用性を活かし、シームレスで透過的な統合を保証する。
まず、インストラクションチューニングのパラダイムを説明し、即時統合の有効性を強調します。
本稿では,エンドツーエンドのトレーニングとテストのためのベンチマーク手法を提案する。
まず,名前付きエンティティ認識(NER)や感情分析などの基本的な能力と基本的なタスクを評価し,専門性を高める。
次に、汎用性を調べるために全ての命令チューニングを融合してマルチタスク操作を実行する包括的モデルについて検討する。
最後に,目立たないタスクを認識してゼロショット機能を探索し,未開の地形における適応性を理解するための新しいデータセットを組み込んだ。
このようなパラダイムはオープン性と再現性の原則を立証し、オープンソースの金融大言語モデル(FinLLMs)における将来の調査の基盤となる。
関連論文リスト
- Numerical Claim Detection in Finance: A New Financial Dataset,
Weak-Supervision Model, and Market Analysis [4.9524454709622585]
ファイナンシャルドメインにおけるクレーム検出タスクのための新たな財務データセットを構築した。
本稿では,対象物の専門家(SME)の知識を集約関数に組み込んだ,新たな弱スーパービジョンモデルを提案する。
我々は、新しい測度楽観主義を構築することによって、提案したモデルの実用性を実証する」。
論文 参考訳(メタデータ) (2024-02-18T22:55:26Z) - Structured Entity Extraction Using Large Language Models [54.53348483973769]
大規模言語モデル(LLM)は、構造化されていないテキストから構造化された情報を抽出する上で重要な役割を果たす。
本稿では,構造化エンティティ抽出における現行手法の課題と限界について考察する。
本研究では,LLMのパワーを有効・効率的に活用する新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-02-06T22:15:09Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Is ChatGPT a Financial Expert? Evaluating Language Models on Financial
Natural Language Processing [22.754757518792395]
FinLMEvalは金融言語モデル評価のためのフレームワークである。
本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
論文 参考訳(メタデータ) (2023-10-19T11:43:15Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。
このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。
我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
論文 参考訳(メタデータ) (2023-07-03T16:01:45Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳(メタデータ) (2023-06-08T14:20:29Z) - Beyond Classification: Financial Reasoning in State-of-the-Art Language
Models [0.0]
大規模言語モデル(LLM)は複雑な多段階推論タスクにおいて顕著な能力を示した。
本研究は,金融分野におけるLLMの適用可能性に関する包括的調査である。
コヒーレントな財務推論を生成する能力は、まず6Bパラメータで現れ、より良い命令チューニングやより大きなデータセットで改善を続けている。
論文 参考訳(メタデータ) (2023-04-30T04:36:05Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model
for Financial Domain [42.093876880881886]
ドメイン固有型金融LANGuageモデル(FLANG)を提案する。
ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。
私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
論文 参考訳(メタデータ) (2022-10-31T18:35:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。