論文の概要: M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents

• arxiv url: http://arxiv.org/abs/2610.37459v1
• Date: Tue, 27 Oct 2026 15:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.273548
• Title: M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents
• Title（参考訳）: M4Bench:臨床用HR誘導体の手続き的仕様の評価
• Abstract要約: 本報告では,MIMIC-IVおよびeICUを用いて,M4Bench(M4Bench)を15のタスクファミリーに28の臨床的導出タスクとして導入する。 コントロールは、スキルの価値を仕様の完全性、デリバリフォーマット、スキーマの使い慣れ度に分解する。 スキルは、ファミリーレベルの基準値監査を備えた、バージョン付き、臨床レビュー可能なマークダウンデリバリフォーマットとしてリリースされている。
• 参考スコア（独自算出の注目度）: 2.281781290456371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical research over electronic health records depends on derived variables whose definitions sit outside the schema, in item codes, time windows, missingness rules, and output-grain choices that change cohorts and downstream conclusions. We introduce M4Bench, 28 clinical derivation tasks across 15 task families on MIMIC-IV and eICU, to test whether AI coding agents can reproduce such derivations and how clinician-reviewed agent skills change their results. Its controls decompose the value of skills into specification completeness, delivery format, and schema familiarity. In a Docker-isolated Codex campaign (GPT 5.4 Mini and GPT 5.5), skills raise reward by 0.136 over the no-skill baseline, with 26 of 28 tasks improving. Specification completeness accounts for most of this gain: on an eight-task control subset, an operational spec alone raises reward by 0.162, and skills add only 0.024 on top, indistinguishable from zero. On a ten-task subset, decoy skills score like no skill and raw reference SQL nearly matches targeted skills, arguing against generic context or the skill format as the explanation. Schema obfuscation and restructuring preserve 86% and 70% of the skill gain (GPT 5.4 Mini, 26 MIMIC-IV tasks), a descriptive robustness check rather than a bound on memorization. A descriptive Claude Code replication on all 28 tasks (Opus 4.7 and Sonnet 4.6, 560 runs) is directionally consistent (+0.120, 21 of 28 tasks improving). These gains are partial agreement with the reference, not completed tasks: only 25 of 280 with-skill and 13 of 280 no-skill Codex runs pass every strict check, and skills barely change which rows agents return (key F1 +0.003). Skills are released as a versioned, clinician-reviewable markdown delivery format, with a family-level reference-validity audit. M4Bench releases tasks, skills, evaluation code, and sanitized per-run evidence as an open-source benchmark.
• Abstract（参考訳）: 電子健康記録に関する臨床研究は、定義がスキーマの外にある派生変数、項目コード、時間ウィンドウ、欠落規則、コホートや下流の結論を変える出力-灰色の選択に依存する。 M4Benchは,MIMIC-IVおよびeICU上の15のタスクファミリーにまたがる28の臨床的導出タスクであり,AIコーディングエージェントがそのような導出を再現できるかどうか,臨床医がレビューしたエージェントスキルがどのように変化するかを検証する。 そのコントロールは、スキルの価値を仕様の完全性、デリバリフォーマット、スキーマの使い慣れ度に分解する。 Dockerが分離したCodexキャンペーン(GPT 5.4 MiniとGPT 5.5)では、スキルが非スキルベースラインに対して0.136の報酬を獲得し、28のタスクのうち26が改善された。 8タスクのコントロールサブセットでは、運用仕様だけで0.162の報酬が与えられ、スキルは0と区別できない0.024しか追加されない。 10タスクのサブセットでは、非スキルのようなデコイスキルスコアと生の参照SQLがターゲットのスキルとほぼ一致し、一般的なコンテキストやスキルフォーマットを説明として論じる。 スキーマの難読化と再構成は、スキルゲインの86%と70%(GPT 5.4 Mini, 26 MIMIC-IV タスク)を保存している。 全28タスク(Opus 4.7、Sonnet 4.6、560実行)のコード複製は、方向整合性(+0.120、28タスクのうち21)である。 280の非熟練コーデックスのうち25と280の非熟練コーデックスの13のみが厳格なチェックをパスし、どの行のエージェントが返されるかはほとんど変化しない(key F1 +0.003)。 スキルは、ファミリーレベルの基準値監査を備えた、バージョン付き、臨床レビュー可能なマークダウンデリバリフォーマットとしてリリースされている。 M4Benchは、オープンソースのベンチマークとして、タスク、スキル、評価コード、ラン毎のエビデンスをサニタイズした。

関連論文リスト

• Compile Once, Run Cheap: Frozen, Portable Skills for Embodied Agents, and What Recursive Self-Improvement Adds [4.289335484469464]
  Embodied AIは、言語モデルにエージェントとスキルを与えるデータ豊富な事前トレーニングを欠いているため、新たな操作能力には、各エピソードにおけるタスク毎のデモやフロンティアモデルが費やされる。 強力な汎用モデルは、凍結後のレイアウトの試験に合格するまで、シミュレーションの操作スキルを書き、実行し、診断し、修復するオフラインの著者としてのみ機能する。 私たちはこのスキルレベルの自己フィードバックSkill-RSIと呼び、コンパイルプロトコル(分離された監査済みの著者、隠れレイアウト、非改善と継承のみのコントロール、タンパの明確な台帳)と、実行中の再利用プロトコルを指定する。
  論文  参考訳（メタデータ） (2026-10-18T08:46:13Z)
• Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair [63.277419653843594]
  修正プログラムの生成とテストの前に編集を優先する学習ポリシであるCodeTriageを紹介する。 ホールドアウトの修理タスクでは、CodeTriageは、各メトリックで最強のベースラインよりも21%少ないプログラム修正と12%少ないアウトプットトークンの修正を見つける。
  論文  参考訳（メタデータ） (2026-10-11T20:19:05Z)
• Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents [50.03584684933779]
  本稿では,ロボット実行システムの自律的改善のためのフレームワークであるReconstruct, Practice, Go Real(RPG)を紹介する。 RPGはオフラインデータセットの操作機能を特定し、シミュレーションで関連するプラクティスタスクを構築する。 新しい再利用可能なシンボリックスキルを開発し、既存のスキルを洗練させ、これらの診断に基づいてシステムプロンプトを改訂する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:50Z)
• LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks [52.045695649147966]
  クロスタスク再利用のための検索可能な原子-作用レキシコンを提案する。 グローバルかつ詳細なコードブックは、共有インタラクション構造ときめ細かい実行のバリエーションをキャプチャする。 視覚-原子的行動アライメントは、視覚状態変化からの軌道再構成と、行動コードからの視覚的結果予測を結合する。
  論文  参考訳（メタデータ） (2026-09-29T05:45:52Z)
• Executable Code Knowledge: Code as a Native, Validation-Carrying Knowledge Representation for AI Coding Agents [0.0]
  我々は、実行可能コード知識(ECK)を導入し、実行可能コード知識ユニット(ECKU)をソースバウンドオブジェクトとして定義する。 私たちのPythonプロトタイプは、コードローカルオーサリング、マニフェストエクスポート、エビデンス実行、正確な変更ラインの影響、フレッシュネスチェック、エージェント対応プロジェクションをサポートしています。
  論文  参考訳（メタデータ） (2026-08-17T09:07:45Z)
• RigorBench: Benchmarking Engineering Process Discipline in Autonomous AI Coding Agents [0.0]
  RigorBenchは、AIコーディングエージェントのプロセス規律を測定する最初のベンチマークである。 プランニングフィデリティ、検証カバレッジ、回復効率、吸収品質、原子遷移積分の5つの柱にまたがるハーネスを評価している。 その結果,構造化プロセスの規律はプロセス品質のスコアを平均41%向上させ,下流結果の正しさを17%向上させることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T21:41:34Z)
• Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
  ASSAYは、生成をキュレーションから分離するフレームワークである。 スキルごとの因果属性を小さな開発セットで計算する。 ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
  論文  参考訳（メタデータ） (2026-06-13T16:37:38Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。