論文の概要: Same Patient, Different Order: Action-Level Reliability of Clinical LLM Agents Under Repeated Runs
- arxiv url: http://arxiv.org/abs/2609.13582v1
- Date: Fri, 11 Sep 2026 22:44:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.400902
- Title: Same Patient, Different Order: Action-Level Reliability of Clinical LLM Agents Under Repeated Runs
- Title（参考訳）: 同一患者, 異なる順序: 反復走行中における臨床用LLM剤の作用レベル信頼性
- Abstract要約: 臨床エージェントベンチマークは同一の入力に対して同一の判定を報告でき、エージェントは各ランに対して実質的に異なる順序を出力する。
これは、固定された全ての入力でタスクをリプレイし、スコアではなく注文を比較します。
この研究は、アクションレベルのばらつきが存在することを証明し、スコアによって記録されずに通過できるが、どのレートも一般化するわけではない。
- 参考スコア（独自算出の注目度）: 6.442213381552777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A clinical agent benchmark can report the same verdict on identical inputs while the agent files a materially different order on each run. Such agents order tests, request medications and place referrals, yet benchmarks typically score one run per task and rarely ask whether identical inputs produce identical actions; MedAgentBench, the benchmark we use, scores a single attempt and says so. To measure this gap we introduce "same-input rerun", which replays a task with every input held fixed and compares the orders rather than the score, with six reliability metrics, and apply it to 1000 MedAgentBench runs across 50 tasks from its five write-capable families, two open-weight models below ten billion parameters quantised to four bits, and two temperatures. The study establishes that action-level divergence exists and can pass unrecorded by the score, not that any rate generalises. Under the 8B model at temperature 0.7, all 43 ordering groups emit a different set of orders across five identical runs, 26 emit the order on some runs and not others, and 28 record a different coded value, dose or analyte. In 22 of those 43 the benchmark reports the same failing verdict for materially different behaviour, as it does for all 10 divergent groups of the 4B model at 0.7. Orders also reach different endpoints across runs, one of which the record server rejects while the agent is told it succeeded. These findings motivate repeated-run evaluation, action-level stability reporting and execution-faithful environment feedback in clinical-agent benchmarks.
- Abstract（参考訳）: 臨床エージェントベンチマークは同一の入力に対して同一の判定を報告でき、エージェントは各ランに対して実質的に異なる順序を出力する。
このようなエージェントはテストの注文、処方薬の要求、参照の配置を行うが、ベンチマークは通常、タスク毎に1回の実行を記録し、同一の入力が同一のアクションを生成するかどうかを問うことは滅多にない。
このギャップを計測するために、"same-input rerun"を導入します。これは、固定されたすべての入力でタスクをリプレイし、スコアよりも順序を6つの信頼性メトリクスで比較し、1000 MedAgentBenchが5つの書き込み可能なファミリーから50のタスクを走らせ、100億個のパラメータを4ビットに量子化し、2つの温度で2つのオープンウェイトモデルを実行します。
この研究は、アクションレベルのばらつきが存在することを証明し、スコアによって記録されずに通過することができるが、どのレートも一般化するわけではない。
温度0.7の8Bモデルの下では、全ての43の順序群は5つの同じランで異なる順序のセットを出力し、26はいくつかのランで順序を出力し、28は異なる符号付き値、線量または分析を記録する。
それらの43のうち22では、ベンチマークは4Bモデルの10の発散したグループ全てに対して0.7で、実質的に異なる振る舞いの検証に失敗していると報告している。
順序はまた、実行中に異なるエンドポイントに到達し、そのうちの1つがレコードサーバが拒否し、エージェントが成功したと告げられる。
これらの知見は, 臨床エージェントベンチマークにおける反復的評価, 行動レベルの安定度, 実行に忠実な環境フィードバックを動機付けている。
関連論文リスト
- Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course [5.9756241643216255]
LLM(Large Language Model)によるエージェントは、平均的には正確だが、プロダクションでは信頼性が低い。
本稿では,エージェント・トラジェクトリにおける不安定で低一貫性のステップを特定することで,このギャップを小さくする自己進化型フレームワークを提案する。
AppWorld with ReAct/GPT-4.1では、同じタスクの評価で+16点、類似タスクの一般化で+13点の5つの実行で成功するタスクの比率を上げています。
論文 参考訳（メタデータ） (2026-09-08T14:53:43Z) - ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval [0.0]
埋め込みベースのコード検索は、コードエージェントと検索拡張コード生成のコアコンポーネントである。
既存のベンチマークは、各クエリの標準実装の、実行検証された単一編集の亜種を配置しない。
ExecRetrievalは、それぞれ939のPythonタスクで、1つの実行検証された標準実装と最大4つの実行検証されたバグギーなインタプリタをペアリングします。
論文 参考訳（メタデータ） (2026-09-01T20:55:17Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。
プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。
既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。
再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:14:07Z) - What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。
私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。
我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
論文 参考訳（メタデータ） (2026-05-20T17:02:36Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。
一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。
この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2026-02-12T06:15:14Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。