論文の概要: KFinEval-Pilot: A Comprehensive Benchmark Suite for Korean Financial Language Understanding

• arxiv url: http://arxiv.org/abs/2504.13216v1
• Date: Thu, 17 Apr 2025 00:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:57:45.502598
• Title: KFinEval-Pilot: A Comprehensive Benchmark Suite for Korean Financial Language Understanding
• Title（参考訳）: KFinEval-Pilot:韓国の金融言語理解のための総合ベンチマークスイート
• Abstract要約: KFinEval-Pilotは、韓国の金融ドメインで大規模言語モデル(LLM)を評価するために設計されたベンチマークスイートである。 金融知識、法的推論、金融毒性の3つの重要な領域に1,000以上のキュレートされた質問が含まれている。
• 参考スコア（独自算出の注目度）: 6.3604109210772934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce KFinEval-Pilot, a benchmark suite specifically designed to evaluate large language models (LLMs) in the Korean financial domain. Addressing the limitations of existing English-centric benchmarks, KFinEval-Pilot comprises over 1,000 curated questions across three critical areas: financial knowledge, legal reasoning, and financial toxicity. The benchmark is constructed through a semi-automated pipeline that combines GPT-4-generated prompts with expert validation to ensure domain relevance and factual accuracy. We evaluate a range of representative LLMs and observe notable performance differences across models, with trade-offs between task accuracy and output safety across different model families. These results highlight persistent challenges in applying LLMs to high-stakes financial applications, particularly in reasoning and safety. Grounded in real-world financial use cases and aligned with the Korean regulatory and linguistic context, KFinEval-Pilot serves as an early diagnostic tool for developing safer and more reliable financial AI systems.
• Abstract（参考訳）: 韓国の金融分野における大規模言語モデル(LLM)を評価するためのベンチマークスイートであるKFinEval-Pilotを紹介する。 既存の英語中心のベンチマークの限界に対処するため、KFinEval-Pilotは、金融知識、法的推論、金融毒性の3つの重要な領域で1,000以上のキュレートされた質問を含んでいる。 ベンチマークは、GPT-4生成プロンプトと専門家による検証を組み合わせた半自動パイプラインによって構築され、ドメインの関連性と事実の正確性を保証する。 各種モデルファミリにおけるタスク精度と出力安全性のトレードオフを考慮し,モデル間での顕著な性能差について検討した。 これらの結果は、特に推論と安全性において、LLMを高額の金融アプリケーションに適用する際の永続的な課題を浮き彫りにしている。 KFinEval-Pilotは、現実世界の金融ユースケースに根ざし、韓国の規制や言語的な文脈に則って、より安全で信頼性の高い金融AIシステムを開発するための早期診断ツールとして機能する。

関連論文リスト

• FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models [0.33504916505452914]
  FINESSE-Benchは、大規模言語モデルにおける金融能力の階層的評価のための3,993の質問を含む8つの特別なベンチマークスイートである。 複数質問、数値回答、短いオープンエンド応答を含む統一評価プロトコルについて述べる。
  論文  参考訳（メタデータ） (2026-05-14T23:53:51Z)
• SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning [59.20983102634086]
  アラビア財務NLPとシャリヤ対応推論のための文書グラウンドベンチマークと命令チューニングデータセットであるSAHMを紹介する。 SAHMには、AAOIFI標準QA、fatwaベースのQA/MCQ、会計とビジネス試験、財務感情分析、抽出要約、イベント起因推論の7つのタスクにまたがる14,380のエキスパート認定インスタンスが含まれている。 アラビア語の流布は、証拠を根拠とした金銭的推論に確実に変換されない。
  論文  参考訳（メタデータ） (2026-04-21T05:24:08Z)
• The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems [54.12165004393043]
  FinMMEval 2026は、財務的理解、推論、意思決定にまたがる3つの相互接続タスクを提供する。 このラボは、堅牢で透明でグローバルに包括的な金融AIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2026-02-11T14:14:06Z)
• BizFinBench.v2: A Unified Dual-Mode Bilingual Benchmark for Expert-Level Financial Capability Alignment [12.163992099059461]
  BizFinBench.v2は中国と米国両方の株式市場のビジネスデータに基づく最初の大規模評価ベンチマークである。 その結果、8つの基本的なタスクと2つのオンラインタスク、合計29,578人のエキスパートレベルのQ&Aペアが得られた。 ChatGPT-5は主要なタスクにおいて61.5%の精度を達成しているが、金融専門家とはかなりの差がある。 オンラインタスクでは、DeepSeek-R1は他の商用LLMよりも優れています。
  論文  参考訳（メタデータ） (2026-01-10T02:51:53Z)
• UniFinEval: Towards Unified Evaluation of Financial Multimodal Models across Text, Images and Videos [22.530796761115766]
  我々は、情報密度の高い金融環境のための最初の統合マルチモーダルベンチマークUniFinEvalを提案する。 UniFinEvalは、現実世界の金融システムに根ざした5つの中核的な金融シナリオを体系的に構築する。 Gemini-3-pro-previewは、全体的なパフォーマンスは最高だが、財務の専門家と比べて大きな差がある。
  論文  参考訳（メタデータ） (2026-01-09T10:15:32Z)
• FinTrust: A Comprehensive Benchmark of Trustworthiness Evaluation in Finance Domain [54.06289302468199]
  FinTrust は金融アプリケーションにおける LLM の信頼性を評価するためのベンチマークである。 o4-miniのようなプロプライエタリなモデルは、安全性など、ほとんどのタスクでパフォーマンスに優れています。 DeepSeek-V3のようなオープンソースモデルは、業界レベルの公正さのような特定の分野に利点がある。
  論文  参考訳（メタデータ） (2025-10-17T01:45:49Z)
• Agentar-Fin-R1: Enhancing Financial Intelligence through Domain Expertise, Training Efficiency, and Advanced Reasoning [12.548390779247987]
  本稿では,Agensar-Fin-R1シリーズを紹介する。 我々の最適化手法は、高品質で体系的な金融タスクラベルシステムを統合する。 われわれのモデルは、主要な金融指標を総合的に評価している。
  論文  参考訳（メタデータ） (2025-07-22T17:52:16Z)
• MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation [89.73542209537148]
  MultiFinBenは、グローバルファイナンシャルドメインに合わせた最初のマルチリンガルおよびマルチモーダルベンチマークである。 我々は,最初のOCR組み込み財務QAタスクである EnglishOCR と SpanishOCR の2つの新しいタスクを紹介する。 本稿では,動的で難易度の高い選択機構を提案し,コンパクトでバランスの取れたベンチマークをキュレートする。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• FinS-Pilot: A Benchmark for Online Financial System [17.65500174763836]
  FinS-Pilotは、オンライン金融アプリケーションで大規模言語モデル(RAG)を評価するための新しいベンチマークである。 当社のベンチマークでは,インテント分類フレームワークによって編成されたリアルタイムAPIデータと構造化テキストソースの両方を取り入れている。 本研究は,金融NLPシステムの研究を進めるための,実践的評価フレームワークとキュレートデータセットの両方に貢献する。
  論文  参考訳（メタデータ） (2025-05-31T03:50:19Z)
• FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows with LLMs [15.230256296815565]
  FinMasterは、金融リテラシー、会計、監査、コンサルティングにおける大規模言語モデル(LLM)の機能を評価するために設計されたベンチマークである。 FinMasterは、FinSim、FinSuite、FinEvalの3つの主要なモジュールで構成されている。 実験では、財務的な推論において重要な能力のギャップが示され、精度は基本的なタスクで90%以上から、複雑なシナリオではわずか37%に低下した。
  論文  参考訳（メタデータ） (2025-05-18T11:47:55Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)
• FinanceQA: A Benchmark for Evaluating Financial Analysis Capabilities of Large Language Models [0.0]
  FinanceQAは、LLMのパフォーマンスを実世界の投資業務を反映した複雑な数値分析タスクで評価するテストスイートである。 現在のLLMは、金融機関の厳密な精度要件を満たすことができず、モデルは現実的なタスクの約60%を欠いている。 その結果、このようなタスクをサポートするためには高品質なトレーニングデータが必要であることが示され、OpenAIの微調整APIを使って実験した。
  論文  参考訳（メタデータ） (2025-01-30T00:06:55Z)
• FLAME: Financial Large-Language Model Assessment and Metrics Evaluation [2.6420673380196824]
  本稿では,中国における総合的なLLM評価システムであるFLAMEを紹介する。 FLAME-Cerは14種類の認証ファイナンスをカバーしており、合計で約16,000の慎重に選択された質問がある。 FLAME-Sceは10の主要な金融ビジネスシナリオ、21の二次金融ビジネスシナリオ、100近い第三次金融アプリケーションタスクの包括的な評価セットで構成されている。
  論文  参考訳（メタデータ） (2025-01-03T09:17:23Z)
• Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models [22.594428755214356]
  ゴールドタッチストーン(Golden Touchstone)は、金融用LLMの最初の総合的なバイリンガルベンチマークである。 ベンチマークには、モデルの言語理解と生成能力を徹底的に評価することを目的とした、さまざまな財務タスクが含まれている。 Touchstone-GPTをオープンソースとして公開した。
  論文  参考訳（メタデータ） (2024-11-09T20:09:11Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [88.96861155804935]
  オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。 FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。 我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
  CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。 この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。 結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
  論文  参考訳（メタデータ） (2024-07-02T14:34:36Z)
• Financial Knowledge Large Language Model [4.599537455808687]
  大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。 金融分野への一般LLMの迅速な適応を容易にするためのフレームワークであるIDEA-FinKERを提案する。 最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
  論文  参考訳（メタデータ） (2024-06-29T08:26:49Z)
• SuperCLUE-Fin: Graded Fine-Grained Analysis of Chinese LLMs on Diverse Financial Tasks and Applications [17.34850312139675]
  SC-Finは中国原産の金融大規模言語モデル(FLM)に適した先駆的評価フレームワークである 6つの金融アプリケーションドメインと25の専門タスクにわたるFLMを評価する。 実生活シナリオを模倣するマルチターンでオープンな会話を用いて、SC-Finは様々な基準に基づいてモデルを測定する。
  論文  参考訳（メタデータ） (2024-04-29T19:04:35Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models [31.961563103990432]
  本稿では,LLMの金融分野の知識と実践能力を評価するためのベンチマークであるFinEvalについて述べる。 データセットには、金融学術知識、金融産業知識、金融セキュリティ知識、金融エージェントの4つの重要な領域に分類される8,351の質問が含まれている。 以上の結果から、Claude 3.5-Sonnetは、ゼロショット設定下において、すべての金融ドメインカテゴリで72.9の最大重み付き平均スコアを達成している。
  論文  参考訳（メタデータ） (2023-08-19T10:38:00Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。