論文の概要: Benchmark of THReD: Evaluating an LLM Agent and Its Preprocessing Tools for Turning Electronic Health Records into AI-Ready Datasets

• arxiv url: http://arxiv.org/abs/2611.02484v1
• Date: Mon, 02 Nov 2026 03:58:54 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:57:50.554866
• Title: Benchmark of THReD: Evaluating an LLM Agent and Its Preprocessing Tools for Turning Electronic Health Records into AI-Ready Datasets
• Title（参考訳）: THReDのベンチマーク:LLMエージェントとその電子健康記録をAI対応データセットに変換するための前処理ツールの評価
• Abstract要約: 我々は、電子健康記録抽出をチャットエージェントを介してAI対応データセットに変換するシステムTHReDのベンチマークを報告する。 エージェントベンチマークには、目標レベルの要求、障害回復、アクションなし要求の呼び出し、スキーマのバリエーション、データへのインジェクションのプロンプトを含む7つのカテゴリで141のタスク(100のテンプレート)がある。 配備されたエージェントは、最初の回答で92.7%のタスクを完了し、すべてのアドバイス要求を断念し、注入されたすべての障害から回復し、植字されたテキストから要求されたアクションは提案しなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: LLM agents are increasingly built into data-analysis software, yet little evidence shows how reliably they preprocess clinical data or whether the tools they invoke give correct, reproducible output. We report a benchmark of THReD, a web-based system that turns electronic health record (EHR) extracts into AI-ready datasets through a chat agent whose proposed steps run only after user confirmation. The agent benchmark has 141 tasks (100 templates) in seven categories, including goal-level requests, failure recovery, requests calling for no action, schema variation and prompt injection through the data, on synthetic tables calibrated to a regional health information exchange; success is judged by checks on the produced data. Over 2,550 episodes with Claude Haiku 5.5 in four context configurations, the deployed agent completed 92.7% (95% CI 88.1-96.4) of tasks on its first answer, abstained on every advice request, recovered from every injected fault, and never proposed an action requested by planted text. Without the data profile, completion fell to 58.0%; goal-level requests were hardest (80.6%). Six experiments on real records of two chronic-disease cohorts and on synthetic data at scale validate the tools: 91-92% of inferred patient classes and 99.7-99.8% of inferred vital-sign labels were correct in masked reconstruction; a dictionary builder combining curated dictionaries with LLM suggestions mapped 99.0% of 2,208 raw variants correctly; all 2,176 replays of 128 saved pipelines gave byte-identical files under pinned dependencies; subgroup differences in inference accuracy vanished within facility and lookup key; and the same-day consolidation rule changed 90-day emergency revisit rates by up to 3.2 points without shifting cohort composition by more than one point. Processing time grew roughly linearly to 5.5 million records while the prompt stayed at about 13 thousand tokens.
• Abstract（参考訳）: LLMエージェントは、データ分析ソフトウェアにますます組み込まれていますが、臨床データをどれだけ確実に前処理しているか、あるいは彼らが呼び出すツールが正しい再現可能な出力を与えるかどうかを示す証拠はほとんどありません。 我々は、電子健康記録(EHR)抽出をAI対応データセットに変換するWebベースのシステムTHReDのベンチマークを、ユーザ確認後にのみ実行されるチャットエージェントを通じて報告する。 エージェントベンチマークは、7つのカテゴリに141のタスク(100のテンプレート)を持ち、その中には、ゴールレベルの要求、障害回復、アクションなしの要求、スキーマ変動、データへのインジェクション、地域保健情報交換に調整された合成テーブル、などが含まれる。 クロード・ハイク5.5の4つのコンテキスト構成で2,550回以上のエピソードがあり、デプロイされたエージェントは最初の回答で92.7%(95% CI 88.1-96.4)のタスクを完了し、アドバイスの要求を全て棄却し、注入されたすべての障害から回復した。 データプロファイルがなければ完了率は58.0%に低下し、ゴールレベルの要求が最も多かった(80.6%)。 91-92%の推論された患者クラスと99.7-99.8%の推論されたバイタルサインラベルがマスク再構築時に正しかったこと、2,208の生の変種を99.0%の精度でマッピングした辞書ビルダー、1,176の保存されたパイプラインのすべてのリプレイは、ピン付き依存下でバイト識別されたファイルを与え、サブグループ差は施設内とルックアップキーで消失し、同日の統合ルールは、コホート組成を1ポイント以上変更することなく90日間の緊急修正率を3.2ポイントに変更した。 処理時間は概ね550万レコードに増加し、プロンプトは約1万1千トークンに留まった。

関連論文リスト

• ReGE: Stronger Agents through Experience Synthesis [47.55932634526085]
  ReGEは、記録された経験を新しい試みのためのガイダンスに変えるためのフレームワークである。 ReGE-Synは単一のコーチコールを使用して、境界付き実行レコードと利用可能なアーティファクトを自己完結型のガイダンスに共同で合成する。 4つのベンチマークで、ReGEはGPTでは平均9.9ポイント、Claudeでは8.8ポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2026-10-24T19:05:57Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models [11.914355904979358]
  生成的ランキングモデルを進化させるための自動検索フレームワークである RankEvolve を提示する。 Executable Operating Protocol (EOP)は、フェーズ、ゲート、ブランチ、ループを宣言し、ランタイムがコンパイルされたステートマシンを強制する。 メタメタハーネスは、Claude CodeやCodexなど、完全なブラックボックスコーディングエージェント製品を実行グラフノードとして構成する。
  論文  参考訳（メタデータ） (2026-09-30T11:50:46Z)
• Large Language Models for Structured Clinical Data Analysis: Dual-Agent Grounding and Validation [0.8928205089779694]
  CLEAR-Medは、構造化された臨床データの自然言語解析のための二重エージェントフレームワークである。 CLEAR-Medは、構造化された臨床データのトレース可能な分析のための一般的なアーキテクチャを提供する。
  論文  参考訳（メタデータ） (2026-09-28T00:02:51Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
  本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。 有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-18T20:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。