論文の概要: SuperCLUE-Fin: Graded Fine-Grained Analysis of Chinese LLMs on Diverse Financial Tasks and Applications
- arxiv url: http://arxiv.org/abs/2404.19063v1
- Date: Mon, 29 Apr 2024 19:04:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 18:10:13.509889
- Title: SuperCLUE-Fin: Graded Fine-Grained Analysis of Chinese LLMs on Diverse Financial Tasks and Applications
- Title（参考訳）: SuperCLUE-Fin:中国LLMの各種財務課題と応用に関する微粒化解析
- Authors: Liang Xu, Lei Zhu, Yaotong Wu, Hang Xue,
- Abstract要約: SC-Finは中国原産の金融大規模言語モデル(FLM)に適した先駆的評価フレームワークである
6つの金融アプリケーションドメインと25の専門タスクにわたるFLMを評価する。
実生活シナリオを模倣するマルチターンでオープンな会話を用いて、SC-Finは様々な基準に基づいてモデルを測定する。
- 参考スコア（独自算出の注目度）: 17.34850312139675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The SuperCLUE-Fin (SC-Fin) benchmark is a pioneering evaluation framework tailored for Chinese-native financial large language models (FLMs). It assesses FLMs across six financial application domains and twenty-five specialized tasks, encompassing theoretical knowledge and practical applications such as compliance, risk management, and investment analysis. Using multi-turn, open-ended conversations that mimic real-life scenarios, SC-Fin measures models on a range of criteria, including accurate financial understanding, logical reasoning, clarity, computational efficiency, business acumen, risk perception, and compliance with Chinese regulations. In a rigorous evaluation involving over a thousand questions, SC-Fin identifies a performance hierarchy where domestic models like GLM-4 and MoonShot-v1-128k outperform others with an A-grade, highlighting the potential for further development in transforming theoretical knowledge into pragmatic financial solutions. This benchmark serves as a critical tool for refining FLMs in the Chinese context, directing improvements in financial knowledge databases, standardizing financial interpretations, and promoting models that prioritize compliance, risk management, and secure practices. We create a contextually relevant and comprehensive benchmark that drives the development of AI in the Chinese financial sector. SC-Fin facilitates the advancement and responsible deployment of FLMs, offering valuable insights for enhancing model performance and usability for both individual and institutional users in the Chinese market..~\footnote{Our benchmark can be found at \url{https://www.CLUEbenchmarks.com}}.
- Abstract（参考訳）: SuperCLUE-Fin (SC-Fin) ベンチマークは、中国固有の金融大言語モデル(FLM)に適した先駆的な評価フレームワークである。
6つの金融アプリケーションドメインと25の専門タスクにわたるFLMを評価し、理論的な知識とコンプライアンス、リスク管理、投資分析といった実践的な応用を含んでいる。
SC-Finは、実生活シナリオを模倣したマルチターンでオープンな会話を用いて、正確な財務理解、論理的推論、明快さ、計算効率、ビジネス累積、リスク認識、中国の規制の遵守など、さまざまな基準でモデルを測定する。
SC-Finは、1000以上の質問を含む厳密な評価において、GLM-4やMoonShot-v1-128kのような国内モデルがAグレードよりも優れている性能階層を特定し、理論知識を実用的金融ソリューションに転換するさらなる発展の可能性を強調している。
このベンチマークは、中国の文脈でFLMを精錬し、金融知識データベースの改善を指示し、財務解釈を標準化し、コンプライアンス、リスク管理、安全プラクティスを優先するモデルを推進するための重要なツールとして機能する。
我々は、中国金融セクターにおけるAI開発を推進する、文脈的に関連性があり包括的なベンチマークを作成します。
SC-Finは、中国市場における個人ユーザーと機関ユーザーの両方にとって、モデルパフォーマンスとユーザビリティを高めるための貴重な洞察を提供する、FLMの進歩と責任ある展開を促進する。
〜\footnote{Our ベンチマークは \url{https://www.CLUEbenchmarks.com}} で見ることができる。
関連論文リスト
- Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models [22.594428755214356]
ゴールドタッチストーン(Golden Touchstone)は、金融用LLMの最初の総合的なバイリンガルベンチマークである。
ベンチマークには、モデルの言語理解と生成能力を徹底的に評価することを目的とした、さまざまな財務タスクが含まれている。
Touchstone-GPTをオープンソースとして公開した。
論文 参考訳（メタデータ） (2024-11-09T20:09:11Z) - CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。
この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。
結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
論文 参考訳（メタデータ） (2024-07-02T14:34:36Z) - Financial Knowledge Large Language Model [4.599537455808687]
大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。
金融分野への一般LLMの迅速な適応を容易にするためのフレームワークであるIDEA-FinKERを提案する。
最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
論文 参考訳（メタデータ） (2024-06-29T08:26:49Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - Revolutionizing Finance with LLMs: An Overview of Applications and
Insights [47.11391223936608]
ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。
これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
論文 参考訳（メタデータ） (2024-01-22T01:06:17Z) - Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4
on mock CFA Exams [26.318005637849915]
本研究では,Large Language Models (LLM) の金銭的推論能力を評価することを目的とした。
チャータード・ファイナンシャル・アナリスト(CFA)プログラムの模擬試験問題を利用して、ChatGPTとGPT-4の総合的な評価を行う。
本稿では,モデルの性能と限界を詳細に分析し,CFA試験に合格する確率を推定する。
論文 参考訳（メタデータ） (2023-10-12T19:28:57Z) - Empowering Many, Biasing a Few: Generalist Credit Scoring through Large
Language Models [53.620827459684094]
大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。
クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。
そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
論文 参考訳（メタデータ） (2023-10-01T03:50:34Z) - CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。
CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
論文 参考訳（メタデータ） (2023-06-15T15:49:51Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳（メタデータ） (2023-06-08T14:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。