論文の概要: Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries
- arxiv url: http://arxiv.org/abs/2607.16989v2
- Date: Tue, 21 Jul 2026 15:50:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 14:48:36.365194
- Title: Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries
- Title（参考訳）: AIエージェントによる翻訳的インパクトサプライヤーのリアルタイム評価
- Abstract要約: 臨床・翻訳科学賞のプログラムは、学者の研究成果を文書化しなければならない。
各学者の記録を手作業で組み立てるのに 15時間かかります
われわれは、各学者の情報源から得られた証拠を収集する、ループ型AIエージェントを構築した。
- 参考スコア（独自算出の注目度）: 1.220010999611912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Introduction. Clinical and Translational Science Award (CTSA) programs must document their scholars' research impact, but assembling each scholar's record by hand takes staff an estimated 15 hours and does not scale to a full cohort. An artificial intelligence (AI) agent could serve as a tool to gather scholar data across platforms and disciplines. Methods. We built a human-in-the-loop AI agent that assembles a dossier of sourced evidence for each scholar and drafts one-sentence Translational Science Benefits Model (TSBM) impact summaries for staff review. We evaluated it in the impact-reporting workflow of one CTSA hub across 10 career-development (KL2/K12) scholars. Two evaluation staff independently coded all 507 findings as accept, edit, or reject; the primary measure was the unanimous usable rate, defined as the share both accepted or edited. Results. Both reviewers accepted or edited 81.7% of the agent's findings. Reviewers each spent a median of 14 minutes per scholar, replacing an estimated 15 hours of manual assembly. Inter-rater agreement was moderate (Cohen's kappa 0.43 on the usable-versus-reject decision). A profile discovery study found the agent's recall close to human search. The agent's impact evidence spanned all four TSBM domains, and about a third of the reviewed findings fell in non-scholarly categories that routine processes tend to miss. Reviewers rated synthesis accuracy 4.5 and usefulness 4.8 on a 5-point scale. Conclusions. A human-in-the-loop AI agent can serve as the first-pass author of a scholar's impact record, shifting staff from collecting and writing to reviewing, and making cohort-scale impact reporting feasible.
- Abstract（参考訳）: はじめに。
臨床・翻訳科学賞(CTSA)プログラムは、研究者の研究成果を文書化しなければならないが、各学者の記録を手作業で組み立てるには15時間が必要であり、完全なコホートにスケールしない。
人工知能(AI)エージェントは、プラットフォームや規律を越えて学術データを収集するツールとして機能する。
メソッド。
我々は、各学者の情報源から得られた証拠を収集し、スタッフレビューのための一文翻訳科学利益モデル(TSBM)の要約を草案化する、ループ型AIエージェントを構築した。
キャリア開発(KL2/K12)学者10名を対象に,CTSAハブのインパクトレポートワークフローの評価を行った。
2人の評価スタッフは、507件の発見を受理、編集、拒絶として独自に符号化した。
結果。
両方のレビュアーは、エージェントの発見の81.7%を受け入れ、編集した。
審査員は各学者1人につき平均14分間を過ごし、推定15時間のマニュアル・アセンブリを置き換えた。
レータ間協定は適度であった(コーエンのカッパ0.43は、使用可能な対向拒否決定に関するものである)。
プロファイル発見調査では、エージェントのリコールは人間の捜索に近づいた。
エージェントの影響の証拠は4つのTSBMドメインすべてに及んでおり、レビューされた結果の約3分の1は、通常のプロセスが見逃す傾向にある非学術的なカテゴリに落ちていた。
レビュアーは5点スケールで合成精度4.5と有用性4.8を評価した。
結論。
ヒューマン・イン・ザ・ループのAIエージェントは、学者のインパクトレコードの第1パスの著者として機能し、スタッフを収集・書き込みからレビューにシフトし、コホートスケールのインパクトレポートを可能にする。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - Towards Automating Scientific Review with Google's Paper Assistant Tool [43.64244794415017]
Paper Assistant Tool (PAT)は、ディープ・サイエンス・レビューと検証のために開発されたエージェントAIフレームワークである。
2つの主要なコンピュータサイエンスカンファレンスの著者のための事前提出ツールとしてのPATのパイロット展開は、重大なエラーを識別する能力を示している。
PATは、レビュープロセスの結果をコントロールしながら、レフェリーに置かれる認知的負担を軽減する。
論文 参考訳（メタデータ） (2026-06-26T17:19:17Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。
通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
論文 参考訳（メタデータ） (2026-04-27T16:23:09Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - APRES: An Agentic Paper Revision and Evaluation System [44.44345338738518]
科学者が自身の仕事を伝え、コミュニティからフィードバックを受け取るための第一の方法は、ピアレビューである。
本稿では,Large Language Models (LLMs) を利用した新しいAPRES手法を提案する。
提案手法は,将来的な引用数を高い精度で予測できるルーリックを発見し,APRESと統合して論文を改訂し,その品質と影響を高める。
論文 参考訳（メタデータ） (2026-03-03T16:29:13Z) - PreScience: A Benchmark for Forecasting Scientific Contributions [32.63164451901248]
PreScienceは、研究プロセスを4つの相互依存的な生成タスクに分解する科学的予測ベンチマークである。
コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューション・コントリビューションの新たな尺度であるLACERScoreを含む,各タスクのベースラインと評価を開発する。
結果として得られる合成コーパスは、同時代の人間による研究よりも体系的に多様性が低く、新規性も低い。
論文 参考訳（メタデータ） (2026-02-24T01:37:53Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。