論文の概要: The Last Mile of Coding Agents for Long-Document Tasks: An Empirical Study on Clinical Trial Protocol Digitization
- arxiv url: http://arxiv.org/abs/2610.18507v1
- Date: Tue, 13 Oct 2026 15:03:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 21:02:01.306859
- Title: The Last Mile of Coding Agents for Long-Document Tasks: An Empirical Study on Clinical Trial Protocol Digitization
- Title（参考訳）: 長期業務におけるコーディングエージェントの最後のマイル:臨床トライアルプロトコルのデジタル化に関する実証的研究
- Abstract要約: 臨床試験プロトコルは、研究設計の真理の源として機能するが、主に構造化されていないPDF文書として書かれ、使用されている。
ディジタイズプロトコルは、静的コンテンツを、臨床ソフトウェアが分析、検証、実行が可能な構造化された機械可読データに変換する。
本稿では,4つのタスクカテゴリにまたがる150の公開プロトコルPDFのエキスパートアノテートベンチマークであるTrialPD-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 19.59903419675976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical trial protocols serve as the source of truth for study design, but are mostly written and used as unstructured PDF documents. Digitizing protocols turns static content into structured, machine-readable data that clinical software can analyze, validate, and execute. Coding agents, which select tools, execute code, and revise their approach as they work, are increasingly applied to such long-document tasks, yet it remains unclear how reliably they turn complete documents into accurate structured outputs. We study this question using protocol digitization as a testbed. We introduce TrialPD-Bench, an expert-annotated benchmark of 150 publicly available protocol PDFs spanning four task categories. Beyond final-answer performance, our evaluation measures evidence recall from agent traces, agent behavior, and cost. Across nine proprietary and open-weight models in five coding-agent harnesses, even the strongest agents do not fully solve protocol digitization. Our analysis further shows that agents usually locate the required evidence but fail in the last mile of transcribing and structuring it. We further develop TrialScribe, a domain-specific harness that equips coding agents with task skills and a verification loop. TrialScribe improves a locally served open-weight model by 6.2-59.4 points across eight metrics, enabling it to match or surpass proprietary models such as GPT-5.6-Sol.
- Abstract（参考訳）: 臨床試験プロトコルは、研究設計の真理の源として機能するが、主に構造化されていないPDF文書として書かれ、使用されている。
ディジタイズプロトコルは、静的コンテンツを、臨床ソフトウェアが分析、検証、実行が可能な構造化された機械可読データに変換する。
ツールを選択し、コードを実行し、そのアプローチを改訂するコーディングエージェントは、このような長いドキュメントタスクにますます適用されていますが、完全なドキュメントを正確に構造化された出力に確実に変換するかどうかは不明です。
本稿では,プロトコルのデジタル化をテストベッドとして利用する。
我々はTrialPD-Benchを紹介した。TrialPD-Benchは4つのタスクカテゴリにまたがる150の公開プロトコルPDFのエキスパートアノテートベンチマークである。
最終回答性能以外にも,エージェントのトレースやエージェントの挙動,コストから証拠を回収する手法も検討した。
5つの符号化エージェントハーネスにおける9つのプロプライエタリおよびオープンウェイトモデルにおいて、最強のエージェントでさえプロトコルのデジタル化を完全に解決していない。
我々の分析では、通常エージェントは必要な証拠を見つけるが、それを翻訳し、構造化する最後の1マイルで失敗することを示している。
さらに、タスクスキルと検証ループを備えたコーディングエージェントを備えたドメイン固有のハーネスであるTrialScribeを開発した。
TrialScribeは8つのメトリクスで6.2-59.4ポイント改善し、GPT-5.6-Solのようなプロプライエタリなモデルにマッチまたは越すことができる。
関連論文リスト
- Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
論文 参考訳（メタデータ） (2026-09-10T06:20:22Z) - SciDocBench: A Workflow-Centered Benchmark and Data Pipeline for Scientific Document Understanding [51.537009919690696]
我々は、科学文書理解のためのワークフロー中心のベンチマークであるSciDocBenchを紹介する。
7つの研究支援グループと5つの科学領域にまたがる19のサブタスクで構成されている。
最も評価の高いシステムは62.6/100であり、文書認識、証拠根拠、検証、文書横断推論の弱点が顕著である。
SciDocIR上に構築したSciDocDatasetは、約15Kの微調整サンプルと、14の検証可能なサブタスクにわたる8Kの強化学習サンプルから構成される。
論文 参考訳（メタデータ） (2026-09-04T13:39:48Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories [13.437222222971272]
仕様パスの感度は、最終的な意味において等価な要求履歴が同一のエージェントシステムに振る舞いの異なるプログラムを作成させる障害モードである。
本稿では,契約に至るリビジョンパスのみを変更しつつ,リポジトリ,最終契約,検証,エージェントシステム,実行予算を保持する診断評価であるSpecPathを紹介する。
論文 参考訳（メタデータ） (2026-08-10T16:19:00Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Neuro-Symbolic AI for LEED compliance: Document-Centric Benchmarking, Deterministic Numeric Checking, and When Multimodal Hurts [0.0]
本稿では,小規模でローカルにデプロイされた言語モデルを用いて,LEED文書の有意義なスクリーニングを行うことができるかを検討する。
プロジェクトPDFをLEEDクレジットセクションに整列させ、クレジット対応キーワードシグネチャで証拠を検索し、LEED固有の数値チェッカーを定量閾値に適用するニューロシンボリックパイプラインが導入された。
論文 参考訳（メタデータ） (2026-07-17T05:45:02Z) - The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。
通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
論文 参考訳（メタデータ） (2026-04-27T16:23:09Z) - DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。
セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
論文 参考訳（メタデータ） (2025-09-30T18:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。