論文の概要: MTFinEval:A Multi-domain Chinese Financial Benchmark with Eurypalynous questions

• arxiv url: http://arxiv.org/abs/2408.10921v1
• Date: Tue, 20 Aug 2024 15:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:05:41.897450
• Title: MTFinEval:A Multi-domain Chinese Financial Benchmark with Eurypalynous questions
• Title（参考訳）: MTFinEval: ユーリパリン問題を伴う多ドメイン中国の金融ベンチマーク
• Authors: Xinyu Liu, Ke Jin,
• Abstract要約: 我々は LLM の経済に関する基本的な知識に焦点を当てた新しいベンチマーク MTFinEval をコンパイルした。 MTFinEvalは、経済学の6つの主要な分野から洗練され、より包括的な能力を反映する360の質問で構成されている。 実験の結果, MTFinEval では全ての LLM の性能が良くないことがわかった。
• 参考スコア（独自算出の注目度）: 19.755793171557123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the emergence of more and more economy-specific LLMS, how to measure whether they can be safely invested in production becomes a problem. Previous research has primarily focused on evaluating the performance of LLMs within specific application scenarios. However, these benchmarks cannot reflect the theoretical level and generalization ability, and the backward datasets are increasingly unsuitable for problems in real scenarios. In this paper, we have compiled a new benchmark, MTFinEval, focusing on the LLMs' basic knowledge of economics, which can always be used as a basis for judgment. To examine only theoretical knowledge as much as possible, MTFinEval is build with foundational questions from university textbooks,and exam papers in economics and management major. Aware of the overall performance of LLMs do not depend solely on one subdiscipline of economics, MTFinEval comprise 360 questions refined from six major disciplines of economics, and reflect capabilities more comprehensively. Experiment result shows all LLMs perform poorly on MTFinEval, which proves that our benchmark built on basic knowledge is very successful. Our research not only offers guidance for selecting the appropriate LLM for specific use cases, but also put forward increase the rigor reliability of LLMs from the basics.
• Abstract（参考訳）: より経済的なLLMSの出現により、安全に生産に投資できるかどうかを測定する方法が問題となる。 これまでの研究は主に、特定のアプリケーションシナリオにおけるLLMの性能評価に重点を置いてきた。 しかし、これらのベンチマークは理論レベルと一般化能力を反映することができず、実際のシナリオにおける問題には後方データセットが適さない傾向にある。 本稿では, LLM の基本的経済知識に着目した新しいベンチマーク MTFinEval を作成した。 MTFinEvalは、理論的な知識のみをできるだけ精査するために、大学教科書や経済学および経営学専攻の試験論文から基礎的な質問を寄せて構築されている。 LLMの全体的な性能は、経済学の一分野にのみ依存せず、MTFinEvalは6つの主要な経済学分野から洗練され、より包括的な能力を反映する360の質問で構成されている。 実験の結果, MTFinEval では全ての LLM の性能が良くないことがわかった。 本研究は、特定のユースケースに適切なLSMを選択するためのガイダンスを提供するだけでなく、基礎からLSMの厳格な信頼性を高めるためのガイダンスも提供する。

関連論文リスト

• CLR-Bench: Evaluating Large Language Models in College-level Reasoning [17.081788240112417]
  大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。 複雑な大学レベルの推論において,LLMを包括的に評価するためにCLR-Benchを提案する。
  論文  参考訳（メタデータ） (2024-10-23T04:55:08Z)
• Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
  大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。 本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。 ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
  CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。 この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。 結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
  論文  参考訳（メタデータ） (2024-07-02T14:34:36Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models [11.154814189699735]
  大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。 本稿では,金融感情分析のためのLLMフレームワークを提案する。 提案手法の精度は15%から48%向上し,F1得点を得た。
  論文  参考訳（メタデータ） (2023-10-06T05:40:23Z)
• Empowering Many, Biasing a Few: Generalist Credit Scoring through Large Language Models [53.620827459684094]
  大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。 クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。 そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
  論文  参考訳（メタデータ） (2023-10-01T03:50:34Z)
• FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models [25.137098233579255]
  FinEvalは、大規模言語モデル(LLM)における金融ドメイン知識のベンチマークである。 FinEvalには、ゼロショットプロンプトや少数ショットプロンプトなど、さまざまなプロンプトタイプが採用されている。 その結果, GPT-4の精度は, 異なるプロンプト設定で70%に近かった。
  論文  参考訳（メタデータ） (2023-08-19T10:38:00Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。