論文の概要: LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

• arxiv url: http://arxiv.org/abs/2610.09872v1
• Date: Wed, 07 Oct 2026 11:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.876013
• Title: LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
• Title（参考訳）: LiveMACE: 発展途上市場におけるLCMエージェント能力のプロセスアウェア評価
• Abstract要約: 結果だけでエージェントを評価することは、それらを生み出す能力を曖昧にする可能性がある。 プロセス認識型ベンチマークであるLiveMACEBenchを紹介した。
• 参考スコア（独自算出の注目度）: 43.37295483116375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating agents by outcomes alone can obscure the capabilities that produce them. This problem is especially pronounced in evolving environments, where outcomes reflect a closed-loop interaction between agent behavior and changing external conditions. We introduce LiveMACEBench, a process-aware benchmark that uses live financial markets as a naturally evolving testbed for persistent LLM agents. Five frontier LLMs operate along continuous trajectories under matched Tool Use, Persistent Memory, Rule Following, and Multi-Agent Collaboration configurations. We evaluate them through both realized outcomes and mechanism-specific diagnostics derived from complete decision traces. Across 30 days of live evaluation, we find a pronounced outcome-capability gap: realized returns often diverge from capability-specific measurements, and similar outcomes can arise from markedly different patterns of mechanism use. Trace-level diagnostics further expose distinct bottlenecks across capabilities, demonstrating that mechanism access, effective mechanism use, and downstream performance are not interchangeable measures of agent capability. LiveMACEBench makes this distinction measurable, turning live markets from a performance leaderboard into a diagnostic environment for agent capability
• Abstract（参考訳）: 結果だけでエージェントを評価することは、それらを生成する能力を曖昧にする可能性がある。 この問題は、エージェントの挙動と外部条件の変化の間の閉ループ相互作用を反映する進化した環境において特に顕著である。 プロセス認識型ベンチマークであるLiveMACEBenchを紹介した。 5つのフロンティアLSMは、マッチしたツール利用、永続メモリ、ルールフォロー、マルチエージェントコラボレーション構成の下で連続的な軌道に沿って動作する。 本研究は,完全な意思決定トレースから得られた,実現された結果とメカニズム固有の診断の両方を通して評価する。 実測30日間にわたる実測では, 実測値と実測値との差が顕著であり, 同様の結果が, 明らかに異なるメカニズムの使用パターンから生じる可能性がある。 トレースレベルの診断はさらに、メカニズムアクセス、効果的なメカニズムの使用、下流のパフォーマンスがエージェント能力の交換可能な尺度ではないことを示すことによって、機能間でのボトルネックを顕在化している。 LiveMACEBenchは、パフォーマンスリーダーボードからエージェント能力の診断環境へ、この区別を計測可能に

関連論文リスト

• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
  我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。 従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。 本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T06:30:19Z)
• AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents [35.967227261886435]
  AgentEscapeBenchは、エージェントが明示的な長距離依存性制約の下で新しいツールの使用手順を推論、実行、修正できるかどうかをテストする。 16個のLDMエージェントとヒトの被験者による実験では、依存性の深さが増加するにつれて性能が急激に低下することが示された。 軌道解析は、主に長距離状態追跡、手がかり付着、中間相対伝播における故障をモデル化する。
  論文  参考訳（メタデータ） (2026-05-08T15:59:27Z)
• AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
  LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。 本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
  論文  参考訳（メタデータ） (2026-04-14T13:49:19Z)
• Diagnostics of cognitive failures in multi-agent expert systems using dynamic evaluation protocols and subsequent mutation of the processing context [0.0]
  この研究は、専門家システムのための診断フレームワークを導入し、評価だけでなく、専門家行動のLSMエージェントへの転送を容易にする。 我々は,多エージェント採用支援システム上での枠組みを実証し,潜在的認知障害を明らかにした。
  論文  参考訳（メタデータ） (2025-09-18T19:08:03Z)
• LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners [51.518410910148816]
  しかし、現在の大規模言語モデル(LLM)ベースのエージェントは、状態のままであり、時間とともに知識を蓄積または転送することができない。 LLMエージェントの生涯学習能力を体系的に評価するために設計された最初の統合ベンチマークであるLifelongAgentBenchを紹介する。
  論文  参考訳（メタデータ） (2025-05-17T10:09:11Z)
• MACCA: Offline Multi-agent Reinforcement Learning with Causal Credit Assignment [34.862786348660094]
  オフラインマルチエージェント強化学習(MARL)は、オンラインインタラクションが非現実的またはリスクのあるシナリオで有用である。 オフラインMARL設定におけるクレジット割り当てに対処する新しいフレームワークであるMulti-Agent Causal Credit Assignment (MACCA)を提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。