論文の概要: Can Open-Weight Models Compete on Financial Text Comprehension?
- arxiv url: http://arxiv.org/abs/2608.08634v1
- Date: Sun, 09 Aug 2026 10:51:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.901261
- Title: Can Open-Weight Models Compete on Financial Text Comprehension?
- Title（参考訳）: オープンウェイトモデルは財務テキストの理解に勝るか?
- Abstract要約: 中国のAI研究所のオープンウェイトな言語モデルは、ここ数カ月でプロプライエタリなフロンティアモデルと比較してベンチマークに上がった。
しかし、実際の金融業務に対する信頼性はほとんど証明されていない。
本誌はFinancial Touchstoneのベンチマークをアップデートした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-weight language models from Chinese AI labs caught up on benchmarks relative to proprietary frontier models in recent months. Yet their reliability on real-world financial tasks remains largely untested. We updated the Financial Touchstone benchmark, which now has 2,967 question context-answer triplets across 495 international annual reports. We also apply a new set of models on the benchmark, expanding coverage from eleven to twenty models across ten providers, including recent open-weight models such as GLM 4.7, GLM 5, Kimi K2.6, and DeepSeek V3.2, as well as Alibaba's proprietary flagship Qwen3-Max. Anthropic's Claude Opus 4.6 achieves the highest accuracy (88.4%), while Google's Gemini 2.5 Pro maintains the lowest hallucination rate (0.08%). Notably, the open-weight Kimi K2.6 ranks third in accuracy, and the non-reasoning models GLM 5 and Mistral 3 rank fourth and fifth, challenging the assumption that reasoning architectures or proprietary weights are a prerequisite for strong financial comprehension. Information retrieval remains the primary bottleneck, accounting for 48.9% of all failures. We also document a new finding: geopolitical content filters in Chinese models refuse legitimate financial questions (0.08% of attempts), sometimes without clear reason, and the refusal behavior depends on the access route as much as on the model. The complete dataset and evaluation framework are publicly available.
- Abstract（参考訳）: 中国のAI研究所のオープンウェイトな言語モデルは、ここ数カ月でプロプライエタリなフロンティアモデルと比較してベンチマークに上がった。
しかし、実際の金融業務に対する信頼性はほとんど証明されていない。
本誌はFinancial Touchstoneのベンチマークをアップデートした。
GLM 4.7、GLM 5, Kimi K2.6、DeepSeek V3.2といった最近のオープンウェイトモデルや、Alibabaの独自フラッグシップであるQwen3-Maxなど、10のプロバイダで11から20のモデルにカバー範囲を広げた。
Anthropic の Claude Opus 4.6 は最高精度 (88.4%)、Google の Gemini 2.5 Pro は最低幻覚率 (0.08%) を維持している。
特に、オープンウェイトであるKim K2.6は精度で3位、非推論モデル GLM 5 と Mistral 3 は4位と5位であり、推論アーキテクチャやプロプライエタリウェイトが強力な金融理解の必須条件であるという仮定に挑戦している。
情報検索が主要なボトルネックであり、全ての障害の48.9%を占めている。
また、中国のモデルにおける地政学的コンテンツフィルターは、正当な金銭的問題(試行の0.08%)を拒否するが、明確な理由がない場合もあり、拒否行動は、モデルと同様にアクセス経路に依存する。
完全なデータセットと評価フレームワークが公開されている。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents [5.045937000137832]
FrontierFinanceは、220のエキスパートによるクエリと11,543のソース対応ルーブリックの完全にオープンなベンチマークで、6つの重要なユースケースにまたがる完全な投資家ワークフローを紹介します。
サマヤの社内システムは56.2%であり、最強のフロンティアモデル(Claude Fable 5, 49.2%)より約2.2倍低いコストで先行している。
最高のオープンウェイトモデル(Kimi K3, 46.4%)は4.5倍のコストで最高のプロプライエタリモデルとほぼ一致している。
論文 参考訳（メタデータ） (2026-08-12T05:43:26Z) - AI Trading: Evaluating Large Language Models for Technical Market Analysis [0.0]
大規模言語モデル(LLM)は、現代金融市場の異種情報環境を処理する強力なツールとして登場した。
本稿では,GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro, Llama 3 70B, and the domain-specialized FinGPTの5つのLLMの系統的比較評価を行った。
LLMはAIトレーディングシステム内で真に約束するが、ロバストなデプロイメントには、注意深いタスクの分解、厳格なバックテストプロトコル、ドメイン対応の微調整戦略が必要です。
論文 参考訳（メタデータ） (2026-07-16T19:38:23Z) - Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews [0.0]
この調査は、バングラデシュの4つの銀行アプリについて、英語とバングラ語で5,652件のGoogle Playレビューを分析した。
従来のモデルは最高精度(0.815)、リニアSVMは最高重み付きF1スコア(0.804)を作成した。
DeBERTa-v3は、4つのアプリのレビューのアスペクトレベルでの感情分析に使用された。
論文 参考訳（メタデータ） (2026-03-17T21:43:51Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - FRED: Financial Retrieval-Enhanced Detection and Editing of Hallucinations in Language Models [1.9894117371899613]
大規模言語モデルにおける幻覚は、事実的信頼性を必要とするアプリケーションにとって重要な課題である。
本研究は,モデル生成応答における事実的誤りコンテンツの検出と編集に有効な手法を提案する。
論文 参考訳（メタデータ） (2025-07-28T15:41:53Z) - BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs [7.9458352414205295]
大規模な言語モデルは一般的なタスクでは優れていますが、ロジック重大で精度の高い、財務、法律、医療といった重要な領域での信頼性の評価は依然として難しいままです。
BizFinBenchは、実世界の金融アプリケーションにおけるLSMの評価に特化して設計された最初のベンチマークである。
BizFinBenchは中国語で6,781の注釈付きクエリで構成されており、数値計算、推論、情報抽出、予測認識、知識に基づく質問応答の5つの次元にまたがっている。
論文 参考訳（メタデータ） (2025-05-26T03:23:02Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。
我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。
GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文 参考訳（メタデータ） (2024-02-20T18:31:27Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-17T14:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。