論文の概要: PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress
- arxiv url: http://arxiv.org/abs/2609.16995v1
- Date: Tue, 15 Sep 2026 11:08:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.466532
- Title: PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress
- Title（参考訳）: PaperDoctor:科学論文におけるエビデンスと行動可能なフィードバック
- Abstract要約: PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
- 参考スコア（独自算出の注目度）: 130.58520199343707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoresearch agents are reshaping the research ecosystem, but they can also let flawed claims enter the literature at scale. Human advisors catch such issues in drafts through careful, traceable feedback, yet advisor-style assessment requires extensive manual effort and does not scale. To shift automated paper assessment from a judge to a diagnostician, we introduce PaperDoctor, an agent framework for pre-submission feedback with three key innovations. First, a holistic hierarchical framework evaluates writing, layout, references, code, theory, prior work, and experiments through three layers: L1 surface screening, L2 typed verifiers that route each claim to the appropriate evidence, and L3 reproducers that rerun experiments by priority. Second, each finding contains an observation, a pointer to specific evidence such as a sentence, equation, or code line, and a revision suggestion, making critiques auditable and actionable. Third, PaperDoctor selectively rebuilds and reruns experiments based on claim importance and compute budget, surfacing reproducibility gaps and quantitative limitations that are invisible from the manuscript alone. We evaluate PaperDoctor on 30 in-progress papers, yielding 70.6% agreement and all positive holistic scores, and on 40 manuscripts across machine learning, natural science, and social science, covering human- and AI-authored papers with code. Overall, PaperDoctor produces more auditable feedback than human and other agentic reviewers, pairs critiques with concrete suggestions by design, and complements dimensions often overlooked by human reviewers. We also develop an interactive interface that lets authors browse findings grounded in their paper. PaperDoctor reframes automated paper assessment as diagnosis rather than verdict, taking a concrete step toward AI advisors for more rigorous AI-assisted scientific discovery.
- Abstract（参考訳）: オートリサーチのエージェントは研究のエコシステムを変えようとしているが、欠陥のある主張を大規模に文献に含めることもできる。
人間のアドバイザーは、慎重に追跡可能なフィードバックを通じて、ドラフトでそのような問題をキャッチするが、アドバイザースタイルの評価には広範囲の手作業が必要であり、スケールしない。
審査員から診断医に自動紙評価をシフトさせるため,3つの重要な革新を伴って,事前提出フィードバックのためのエージェントフレームワークであるPaperDoctorを紹介した。
まず、全体的階層的なフレームワークは、記述、レイアウト、参照、コード、理論、事前作業、実験を3つのレイヤを通して評価する。
第2に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれており、批評を監査可能かつ実行可能なものにしている。
第3に、PaperDoctorは、請求の重要度と計算予算に基づいて実験を選択的に再構築し、再実行し、複製可能性のギャップと、原稿だけでは見えない量的制限を克服する。
我々はPaperDoctorを30件の論文で評価し、70.6%の合意と全ての肯定的な総論的なスコア、そして機械学習、自然科学、社会科学に関する40の原稿をコードでカバーしている。
全体として、PaperDoctorは人間や他のエージェントレビュアーよりも監査可能なフィードバックを生成し、設計による具体的な提案とペアの批評を行い、人間のレビュアーがしばしば見落としている次元を補完する。
また、著者が論文に書かれている発見を閲覧できるインタラクティブなインターフェースも開発しています。
PaperDoctorは、判断ではなく診断として自動論文アセスメントを再構築し、より厳格なAI支援科学発見のために、AIアドバイザに向けて具体的な一歩を踏み出した。
関連論文リスト
- Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - Towards Automating Scientific Review with Google's Paper Assistant Tool [43.64244794415017]
Paper Assistant Tool (PAT)は、ディープ・サイエンス・レビューと検証のために開発されたエージェントAIフレームワークである。
2つの主要なコンピュータサイエンスカンファレンスの著者のための事前提出ツールとしてのPATのパイロット展開は、重大なエラーを識別する能力を示している。
PATは、レビュープロセスの結果をコントロールしながら、レフェリーに置かれる認知的負担を軽減する。
論文 参考訳（メタデータ） (2026-06-26T17:19:17Z) - PaperMentor: A Human-Centered Multi-Agent Writing Tutor for AI Research Papers on Overleaf [51.79108552674703]
We present PaperMentor, a human-centered writing assistant system that delivers actionable suggestions as Overleaf-native inline comments。
PaperMentorは、既存の研究者の執筆アドバイスから慎重にキュレートされた専門的なスキルライブラリを、論文執筆のさまざまな側面をカバーする12の専門エージェントに統合する。
ユーザ調査では、生成したコメントの90.6%が実行可能であり、67.5%が有効であると評価され、GPT-5.2のベースラインをスキルライブラリを使用せずに大幅に上回った。
論文 参考訳（メタデータ） (2026-06-07T22:17:15Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Paper Reconstruction Evaluation: Evaluating Presentation and Hallucination in AI-written Papers [41.637398542914816]
本稿では,現代のコーディングエージェントによって書かれた論文の品質とリスクを定量化するための,最初の体系的評価フレームワークを紹介する。
PaperReconは、AIで書かれた論文の評価を、プレゼンテーションと幻覚の2つの次元に分割する。
評価のために,2025年以降に出版された多種多様なドメインを対象とした51の論文をベンチマークしたPaperWrite-Benchを紹介する。
論文 参考訳（メタデータ） (2026-04-01T16:48:04Z) - Towards a Medical AI Scientist [73.6056699962416]
私たちは、臨床自律研究に特化した最初の自律的な研究フレームワークである、メディカルAIサイエンティストを紹介します。
このフレームワークは3つの研究モード、すなわち論文ベースの再現、文学にインスパイアされた革新、タスク駆動探索で動作する。
本システムでは,提案手法と実装の密接な整合性を実現するとともに,実行可能実験において極めて高い成功率を示す。
論文 参考訳（メタデータ） (2026-03-30T15:37:25Z) - APRES: An Agentic Paper Revision and Evaluation System [44.44345338738518]
科学者が自身の仕事を伝え、コミュニティからフィードバックを受け取るための第一の方法は、ピアレビューである。
本稿では,Large Language Models (LLMs) を利用した新しいAPRES手法を提案する。
提案手法は,将来的な引用数を高い精度で予測できるルーリックを発見し,APRESと統合して論文を改訂し,その品質と影響を高める。
論文 参考訳（メタデータ） (2026-03-03T16:29:13Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。