論文の概要: StableEval Arena: A Cost-Aware Agentic Benchmark for Stablecoin Price Stability Prediction
- arxiv url: http://arxiv.org/abs/2609.18949v1
- Date: Fri, 07 Aug 2026 15:41:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.576439
- Title: StableEval Arena: A Cost-Aware Agentic Benchmark for Stablecoin Price Stability Prediction
- Title（参考訳）: StableEval Arena: 価格安定予測のためのコスト対応エージェントベンチマーク
- Abstract要約: 本稿では,エージェントAIシステム評価のためのコスト対応ベンチマークフレームワークであるStableEval Arenaを紹介する。
隠れた7日間の地平線上でのペグストレスの診断と1ドルペグの偏差予測のエージェントシステムの評価を行った。
監査とレプリケーションをサポートするため、Hugging FaceのベンチマークデータセットとGitHubのソースコードをリリースしています。
- 参考スコア（独自算出の注目度）: 0.8652572023509929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce StableEval Arena, a cost-aware benchmark framework for evaluating agentic AI systems on stablecoin peg-risk prediction. StableEval Arena evaluates LLM-backed agentic systems on diagnosing peg stress and forecasting deviations from the one-dollar peg over a hidden seven-day horizon, using leakage-safe historical replay with exchange price-volume data and market-context features. We report two complementary experiment blocks: a 120-case stress-enriched validation block and a 507-case natural-distribution full-arena evaluation block. Across six LLM-backed agent configurations and baselines, StableEval Arena measures prediction quality, calibrated-label behavior, structured-output reliability, latency, token consumption, and estimated inference cost. Rather than ranking agents by accuracy alone, the framework treats trustworthiness as a joint property of forecast quality, operational reliability, and computational cost. The results show a gap between protocol-following reliability and financial-risk reliability: agents reliably produce valid structured outputs at modest measured cost, but still miss most rare severe-stress and sustained-depeg cases. To support auditing and replication, we release the benchmark dataset on Hugging Face and the source code on GitHub.
- Abstract（参考訳）: 本稿では,エージェントAIシステム評価のためのコスト対応ベンチマークフレームワークであるStableEval Arenaを紹介する。
StableEval Arena は LLM が支援するエージェントシステムを評価し,1ドルのペグからの偏差を隠された7日間の地平線上で予測する。
120ケースのストレス強化検証ブロックと507ケースの自然分布フルアリーナ評価ブロックの2つの相補的な実験ブロックを報告した。
6つのLDMベースのエージェント構成とベースラインで、StableEval Arenaは予測品質、キャリブレーションされたラベルの振る舞い、構造化出力の信頼性、レイテンシ、トークン消費、推定推論コストを測定する。
このフレームワークは、精度だけでエージェントをランク付けするのではなく、信頼性を予測品質、運用信頼性、計算コストのジョイント特性として扱う。
エージェントは、適度な測定コストで有効な構造化された出力を確実に生成するが、それでも非常に稀な重度および持続的なデペグケースを見逃している。
監査とレプリケーションをサポートするため、Hugging FaceのベンチマークデータセットとGitHubのソースコードをリリースしています。
関連論文リスト
- Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents [0.0]
私たちはForesight Arenaを紹介します。これは、現実世界の予測市場でAI予測エージェントを評価するための、最初の無許可のオンチェーンベンチマークです。
パフォーマンスはBrier ScoreとAlpha Scoreによって測定される。
80%のパワーで$* = 0.02$の真のエッジを検出するには、約350の解決されたバイナリ予測が必要である。
論文 参考訳（メタデータ） (2026-05-01T05:33:10Z) - Stablecoin Design with Adversarial-Robust Multi-Agent Systems via Trust-Weighted Signal Aggregation [5.151910664667141]
本稿では,リスク状態推定のための新しいストレスハーネスを組み込んだ,信頼度の高い平均変動フロンティアリザーブコントローラMVF-Composerを提案する。
私たちの重要な洞察は、マルチエージェントシミュレーションを敵のストレステスターとしてデプロイし、オンチェーンが現れる前に予備的な脆弱性を露呈することです。
ブラックスワンを注入した1200のランダム化シナリオで、MVF-Composerはピークペグの偏差を57%減らし、SASベースラインに対して平均回復時間を3.1倍減らした。
論文 参考訳（メタデータ） (2026-01-18T14:21:25Z) - Bayesian Modeling for Uncertainty Management in Financial Risk Forecasting and Compliance [0.0]
我々は,市場ボラティリティ予測,不正検出,コンプライアンス監視におけるリスクの取り扱いを継続的に促進する統合的アプローチを開発する。
我々は,2000年から2019年までのトレーニング期間,2020年から2024年までのアウト・オブ・サンプルテスト期間を用いて,毎日のS&P500リターンにおける95%バリュー・アット・リスク(VaR)予測の性能を評価した。
提案した割引係数DLMモデルは,クラスタ化違反の証拠とともに,わずかにリベラルなVaR推定を導出する。
論文 参考訳（メタデータ） (2025-12-06T23:00:19Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳（メタデータ） (2025-12-01T09:44:31Z) - Risk-Calibrated Bayesian Streaming Intrusion Detection with SRE-Aligned Decisions [0.0]
本稿では,ベイジアンオンライン変更点検出とサイト信頼性工学(SRE)の誤差予算に整合した決定しきい値とを結合したストリーミング侵入検出に対するリスク校正手法を提案する。
我々は、ハザードモデル、共役更新、およびイベントごとのO(1)実装について詳述する。
具体的なSREの例は、99.9%の可用性SLO(月43.2分毎のエラー予算)が、ミスインシデントが偽アラームよりも10倍高い場合、0.91に近い確率閾値を得ることを示している。
論文 参考訳（メタデータ） (2025-09-17T17:36:08Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳（メタデータ） (2025-05-28T20:22:43Z) - Towards Robust Stability Prediction in Smart Grids: GAN-based Approach under Data Constraints and Adversarial Challenges [53.2306792009435]
本稿では,安定したデータのみを用いて,スマートグリッドの不安定性を検出する新しいフレームワークを提案する。
最大98.1%の精度でグリッド安定性を予測でき、98.9%で敵の攻撃を検知できる。
シングルボードコンピュータ上で実装され、7ms以下の平均応答時間でリアルタイムな意思決定を可能にする。
論文 参考訳（メタデータ） (2025-01-27T20:48:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。