論文の概要: BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents

• arxiv url: http://arxiv.org/abs/2610.41076v1
• Date: Thu, 29 Oct 2026 23:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.555782
• Title: BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents
• Title（参考訳）: BABA-Bench : 長期患者アドボカシー剤の評価
• Abstract要約: 47のインタラクティブな世界のベンチマークであるBABA-Benchを紹介する。 各世界において、エージェントは隠れた情報を見つけ、保険会社、診療所、サプライヤー、薬局、およびコミュニティ組織を調整しなければならない。 エンジンはエージェントが実行する時点で各アクションをチェックする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM agent that helps a patient get care must do two things. It must reach the correct outcome, and it must follow the necessary procedure. For example, the agent must get the patient's permission before it shares the patient's records. We introduce BABA-Bench, a benchmark of 47 interactive worlds. We built each world from a de-identified, real patient advocacy case that expert advocates reviewed. In each world, the agent must find hidden information and coordinate insurers, clinics, suppliers, pharmacies, and community organizations. The engine checks each action at the time the agent does it. It checks if the agent has permission, if the agent has evidence for the action, and if the action is prohibited. We evaluated 14 frontier models with three runs on each world, for a total of 1,974 runs. Agents often reached the correct outcome by an invalid route. Of the 921 runs that reached all required outcomes, 254 (28%) did not follow the necessary procedure. Claude Opus 5 reached all required outcomes in 81.6% of its runs, but only 52.5% of its runs passed all checks. When we gave two models a verified route, their pass rates increased from 29.8% to 91.5% and from 44.0% to 97.2%. For these models, the main problem is to find a route, not to execute it.
• Abstract（参考訳）: 患者が治療を受けるのを助けるLLMエージェントは2つのことをしなければならない。 正しい結果に達する必要があり、必要な手順に従う必要がある。 例えば、患者が患者の記録を共有する前に、エージェントは患者の許可を得なければならない。 47のインタラクティブな世界のベンチマークであるBABA-Benchを紹介する。 私たちは、専門家の支持者がレビューした、未確認で実際の患者アドボケーションケースから、それぞれの世界を構築しました。 各世界において、エージェントは隠れた情報を見つけ、保険会社、診療所、サプライヤー、薬局、およびコミュニティ組織を調整しなければならない。 エンジンはエージェントが実行する時点で各アクションをチェックする。 エージェントが許可を持っているか、エージェントがアクションの証拠を持っているか、およびアクションが禁止されているかをチェックする。 合計1,974回のランで、各世界で3回のランで14のフロンティアモデルを評価した。 エージェントはしばしば不正なルートによって正しい結果に到達した。 必要なすべての結果に到達した921回のうち、254回(28%)は必要な手順に従わなかった。 クロード・オプス5は81.6%で全ての要求結果に達したが、わずか52.5%で全チェックをパスした。 2つのモデルに確認されたルートを与えると、パスレートは29.8%から91.5%に上昇し、44.0%から97.2%に上昇した。 これらのモデルでは、主な問題はルートを見つけることであり、実行しないことである。

関連論文リスト

• Dual Exam: Controlled Evaluation of Multimodal Agents and World Models [183.81513687551828]
  本稿では, エージェントを固定環境応答機構下で, エージェントを固定行動介入下で, ワールドモデルでテストするDual Examを紹介する。 エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。 World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
  論文  参考訳（メタデータ） (2026-10-22T10:44:35Z)
• AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
  AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-10-08T01:03:48Z)
• The Backdrop Exposes What the World Around an Agent Costs It [0.0]
  BACKDROPは、エージェントの実行環境とともにタスクを行い、その世界で4つの日常的なハザードを植える。 それぞれの危険は一つ質問する。 4つのハザードが存在し、植字されたテキストがエージェントに届くところだけを数えると、エージェントは46.4%のランとインジェクトされたテキストを20.3%で別の人のメッセージに従った。
  論文  参考訳（メタデータ） (2026-09-29T20:00:18Z)
• Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
  タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。 我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。 OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
  論文  参考訳（メタデータ） (2026-09-17T17:59:04Z)
• Agentic Commerce World: An Auditable and Verifiable Environment for Vibe Commerce [83.90449137361595]
  Vibeコマースは、自然言語で購入や販売の目標を表現し、AIエージェントにタスクを委譲することを可能にする。 本稿では,現在進行中の取引にまたがるエージェント評価環境であるAgenic Commerce World(ACWorld)を紹介する。 ACWorldは、共有トランザクション状態を更新する前にエージェントアクションを検証し、結果のインタラクションを記録し、エージェントの振る舞いを監査可能とし、再現性を評価する。
  論文  参考訳（メタデータ） (2026-08-03T16:20:17Z)
• From Days to Minutes: An Autonomous AI Agent Achieves Reliable Clinical Triage in Remote Patient Monitoring [2.0918370570198763]
  遠隔患者モニタリング(RPM)は膨大なデータを生成するが、データ量が臨床スタッフを圧倒したため、目覚ましい臨床試験(Tele-HF, BEAT-HF)は失敗した。 RPMバイタルのコンテキストトリアージにモデルコンテキストプロトコル(MCP)を用いた自律型AIエージェントSentinelを開発した。
  論文  参考訳（メタデータ） (2026-03-10T00:50:54Z)
• EvoClinician: A Self-Evolving Agent for Multi-Turn Medical Diagnosis via Test-Time Evolutionary Learning [72.70291772077738]
  エージェントのマルチターン診断能力を評価するためのベンチマークであるMed-Inquireを提案する。 次に、テスト時に効率的な診断戦略を学ぶ自己進化エージェントであるEvoClinicianを紹介する。 実験の結果,EvoClinicianは連続学習ベースラインや,メモリエージェントなどの自己進化エージェントよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-30T13:26:18Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。