論文の概要: Frontier Financial Judgement: Can agents tell what might move a stock?
- arxiv url: http://arxiv.org/abs/2607.20645v1
- Date: Wed, 22 Jul 2026 18:15:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.187471
- Title: Frontier Financial Judgement: Can agents tell what might move a stock?
- Title(参考訳): ファイナンシャル・ファイナンシャル・ジャッジメント(Frontier Financial Judgement): エージェントは株をどう動かせるのかを教えてくれる?
- Abstract要約: Frontier Financial Judgement(フロンティア・ファイナンシャル・ジャッジメント)は、専門家の人間の判断を再現するエージェントの能力を評価するために開発された新しいベンチマークである。
人造・ラベル付けされた合成記事と生のニュース記事と歴史資料を組み合わせて656項目のアセスメントを作成した。
GPT-5.6 Solは1%、Claude Sonnet 4.6は32%であった。
- 参考スコア(独自算出の注目度): 0.45446037335732087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Frontier Financial Judgement, a challenging new benchmark developed in collaboration with professional equity analysts to assess agents' ability to replicate expert human judgements. Rapidly identifying new information, evaluating its implications and determining its valuation impact is one of the most time-consuming and challenging aspects of real-world equity coverage. This is becoming ever more difficult and important as AI rapidly increases the quantity of new information to process. The strongest agent we evaluate on Frontier Financial Judgement matches all expert labels in only 52.4% of cases. We also find significant divergence in estimated false-positive rates among frontier agents, ranging from ~1% for GPT-5.6 Sol to ~32% for Claude Sonnet 4.6. To construct the benchmark and make it representative of real-world settings, we combine human-designed and labelled synthetic articles with live news articles and historical documents, creating 656 items for assessment. The resulting task requires agents to distinguish genuinely new, valuation-relevant financial information from stale, immaterial or misleading news under realistic conditions. We find substantial trade-offs among agent accuracy, cost, false positives and reliability that continue to hinder the reliable deployment of news-flow filtering in practice.
- Abstract(参考訳): 私たちは、専門家の判断を再現するエージェントの能力を評価するために、専門家のエクイティアナリストと共同で開発された挑戦的な新しいベンチマークであるFrontier Financial Judgementを紹介します。
新しい情報を素早く特定し、その影響を評価し、その評価への影響を判断することは、現実世界の株式のカバレッジにおいて最も時間がかかり、挑戦的な側面の1つだ。
AIが処理する新しい情報の量を増やしていくにつれ、これはますます困難で重要なものになりつつある。
フロンティア・ファイナンシャル・ジャッジメントで評価される最強のエージェントは、52.4%のケースで全ての専門家のラベルと一致します。
また,GPT-5.6ゾルの1%からクロード・ソネット4.6の32%まで,フロンティア剤の偽陽性率の推定値に有意な差が認められた。
このベンチマークを構築し,実世界の環境を表現するために,人間設計・ラベル付けされた合成記事とライブニュース記事・歴史資料を組み合わせ,評価用656項目を作成した。
その結果、エージェントは、真に新しい、バリュエーションに関連のある財務情報を、現実的な条件下での古い、非物質的または誤解を招くニュースと区別する必要がある。
エージェントの精度、コスト、偽陽性、信頼性の間にかなりのトレードオフがあり、実際にはニュースフローフィルタリングの信頼性を損なうことになる。
関連論文リスト
- IPO Finance Agent: Benchmark of LLM Financial Analysts Beyond Finance Agent v2, with Automated Rubric Generation, on the SpaceX (SPCX) IPO [0.0]
ファイナンスエージェント v2(Vals AI)が金融言語モデルを評価する基準ベンチマークとして登場した。
タスクドメインと検索アーキテクチャの2つの方向に沿ってファイナンスエージェントフレームワークを拡張したIPOファイナンスエージェントを紹介します。
最高の性能評価モデルであるZhipu GLM-5.2は79.8%の精度に達し、その結果得られたフロンティアで最もコスト効率のよいXiaomi MiMo-2.5 Proはクエリあたり0.05 USDでわずかに低い精度(77.2%)に達した。
論文 参考訳(メタデータ) (2026-06-22T08:42:19Z) - SynCred-Bench: Benchmarking Synthetic Credibility in AI-Generated Visual Misinformation [82.22252244442744]
SynCRED-Benchは、信頼できる6つのカテゴリと7つのきめ細かい循環スタイルでバランスをとる、600個のAI生成の誤情報画像のベンチマークである。
5%の偽陽性レートの制約の下で、15個のMLLMは10.5%の真正レート(TPR)しか達成せず、オープンソースのAIGC検出器は5%以下である。
また、ヒトのアノテーターは合成信頼性の同定にも苦労し、TPRはわずか63%に達した。
論文 参考訳(メタデータ) (2026-06-02T08:57:38Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。
フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。
全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
論文 参考訳(メタデータ) (2026-05-14T04:30:49Z) - Fact4ac at the Financial Misinformation Detection Challenge Task: Reference-Free Financial Misinformation Detection via Fine-Tuning and Few-Shot Prompting of Large Language Models [4.8239913268889]
本稿では,「参照自由な財務誤情報検出」タスクの獲得手法について述べる。
本稿では,最先端の大規模言語モデルの推論能力を活かした包括的フレームワークを提案する。
提案方式は優れた有効性を示し,両公式リーダーボードのランキング1位を確保できた。
論文 参考訳(メタデータ) (2026-04-16T05:38:58Z) - Interpretable Hypothesis-Driven Trading:A Rigorous Walk-Forward Validation Framework for Market Microstructure Signals [0.0]
我々は,アルゴリズム取引のためのウォークフォワード・バリデーション・フレームワークを開発した。
我々の手法は、解釈可能な仮説駆動信号生成と強化学習と厳密なサンプル外テストを組み合わせる。
このフレームワークは厳密な情報セットの規律を強制し、34の独立したテスト期間にわたるロールウインドウ検証を採用し、自然言語の仮説による完全な解釈可能性を維持している。
論文 参考訳(メタデータ) (2025-12-15T02:20:42Z) - PRBench: Large-Scale Expert Rubrics for Evaluating High-Stakes Professional Reasoning [18.32501228579171]
Professional Reasoning Bench (PRBench) は、ファイナンス・アンド・ローにおける現実的な問題の現実的で、オープンで、困難なベンチマークである。
私たちは1,100人の専門家によるタスクと19,356人の専門家による基準をオープンソース化しました。
論文 参考訳(メタデータ) (2025-11-14T18:55:12Z) - When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.55061622246824]
Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。
AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。
GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる薬剤を評価する。
論文 参考訳(メタデータ) (2025-10-13T17:54:09Z) - CRMArena-Pro: Holistic Assessment of LLM Agents Across Diverse Business Scenarios and Interactions [85.88573535033406]
CRMArena-Proは、多種多様なプロフェッショナル環境でのLLMエージェントの総合的で現実的な評価のための新しいベンチマークである。
多様なペルソナと堅牢な機密性意識評価によって導かれるマルチターンインタラクションが組み込まれている。
実験によると、主要なLLMエージェントはCRMArena-Proで58%のシングルターン成功しか達成せず、パフォーマンスはマルチターン設定で約35%に大幅に低下している。
論文 参考訳(メタデータ) (2025-05-24T21:33:22Z) - CSPRD: A Financial Policy Retrieval Dataset for Chinese Stock Market [61.59326951366202]
我々は、中国株式政策検索データセット(CSPRD)を導入して、新たな課題である政策検索を提案する。
CSPRDは、中国の政策コーパスの10k以上の項目から、経験豊富な専門家によってラベル付けされた700以上のパスを提供する。
我々の最高のパフォーマンスベースラインは56.1% MRR@10、28.5% NDCG@10、37.5% Recall@10、80.6% Precision@10である。
論文 参考訳(メタデータ) (2023-09-08T15:40:54Z) - DeepTrust: A Reliable Financial Knowledge Retrieval Framework For
Explaining Extreme Pricing Anomalies [0.0]
DeepTrustは、Twitter上の信頼できる金融知識検索フレームワークで、極端な価格変動を高速で説明する。
提案するフレームワークは,異常検出,情報検索,信頼性評価のための3つのモジュールから構成される。
このフレームワークは2021年4月29日と30日の2つの自己注釈付き金融異常、すなわちTwitterとFacebookの株価で評価されている。
論文 参考訳(メタデータ) (2022-03-11T06:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。