論文の概要: Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution
- arxiv url: http://arxiv.org/abs/2605.30802v1
- Date: Fri, 29 May 2026 03:44:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.371021
- Title: Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution
- Title（参考訳）: 市場予測のためのマルチエージェントAI Oracleシステムの設計と評価
- Authors: Tarun Kota,
- Abstract要約: 予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prediction markets aggregate collective intelligence to forecast uncertain events, but their utility depends on reliable outcome resolution. Existing oracle systems tradeoff fast but brittle automation against accurate but costly human arbitration. Single-LLM oracles achieve meaningful accuracy but inherit all failure modes of their underlying model with no self-correction mechanism. We evaluate whether multi-agent LLM architectures can improve oracle resolution accuracy over single-model baselines. We compare independent aggregation and deliberative consensus against single-LLM baselines (GPT-5 Nano, DeepSeek V3, and Llama-3.3-70B) on 1,189 resolved prediction market questions from KalshiBench. All agents share a common evidence layer through Exa, with retrieval filtered by publication date to isolate reasoning from retrieval quality. Independent aggregation with confidence-weighted voting achieves the highest accuracy at 83.43 percent, outperforming the best individual model by 1.01 percentage points. Deliberative consensus degrades accuracy to approximately 76 percent, below every single-model baseline, attributed to error propagation during debate where confidently wrong models flip correct ones. Error correlations across models (0.529-0.689) explain why aggregation gains fall short of the theoretical Condorcet ceiling, placing a fundamental limit on ensemble approaches. Many questions resist correction by any multi-agent architecture, motivating escalation to human arbitration. We propose routing criteria for hybrid AI-human oracle systems: auto-resolving only unanimous, high-confidence questions yields 97.87 percent accuracy on 47 percent of the dataset, with inter-agent disagreement flagging the remainder for human review.
- Abstract（参考訳）: 予測市場は、集合的なインテリジェンスを集約して不確実な事象を予測するが、その効用は信頼性の高い結果解決に依存する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
単一LLMオーラクルは有意義な精度を達成するが、自己補正機構を持たない基礎モデルのすべての障害モードを継承する。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
我々は,KalshiBenchの1,189の市場質問に対して,単一LLMベースライン(GPT-5 Nano, DeepSeek V3, Llama-3.3-70B)に対する独立集約と検討的コンセンサスを比較した。
全てのエージェントはExaを通じて共通のエビデンス層を共有し、検索は公開日によってフィルタリングされ、検索品質から推論を分離する。
自信に満ちた投票による独立的な集計は83.43パーセントの精度で、最高の個人モデルよりも1.01ポイント高い。
デリバティブなコンセンサスは、正確さを約76%に低下させ、単一のモデルベースラインを下回っている。
モデル間の誤差相関(0.529-0.689)は、アグリゲーションゲインが理論上のコンドルチェット天井から外れた理由を説明し、アンサンブルアプローチに基本的な制限を課す。
多くの質問はマルチエージェントアーキテクチャによる修正に抵抗し、人間の仲裁へのエスカレーションを動機付けている。
一致した高信頼の質問のみを自動解決することで、データセットの47%で97.87パーセントの精度が得られる。
関連論文リスト
- MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination [0.0]
本稿では,MARGIN(Multi-Agent Grading via Incremental Normalisation)を提案する。
18の基盤モデル、8のベンチマーク、44,000以上の観測結果から、MARGINは分布シフト時の最良の設計時ベースラインよりも3-6倍低いキャリブレーション誤差を達成している。
論文 参考訳（メタデータ） (2026-05-21T18:25:05Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳（メタデータ） (2026-05-03T20:05:08Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - CascadeDebate: Multi-Agent Deliberation for Cost-Aware LLM Cascades [3.2562960801091094]
CascadeDebateは、モデルと人間の専門家を協調して精度、コスト、そして不確実性の下での棄権のバランスをとるマルチエージェントシステムである。
我々のアーキテクチャは、モデルスケールにまたがる選択的なマルチエージェント検討と単一モデル推論を交互に行い、最終的なフォールバックとして人間の専門家を導いた。
科学、医学、一般知識にまたがる5つのベンチマークで、CascadeDebateは強力なシングルモデルカスケードとスタンドアロンのマルチエージェントシステムより最大26.75パーセントパフォーマンスがある。
論文 参考訳（メタデータ） (2026-04-14T04:26:39Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。