論文の概要: AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing
- arxiv url: http://arxiv.org/abs/2609.14738v1
- Date: Sun, 13 Sep 2026 18:59:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.927458
- Title: AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing
- Title（参考訳）: AppliedScientist:イテレーティブなAIレビューを通じて、科学的修正を自動化する
- Abstract要約: 我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介する。
我々は、さまざまな研究分野から削除された論文を反復的に改訂して評価する。
- 参考スコア（独自算出の注目度）: 10.712519962597604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated reviewing systems are increasingly evaluated based on the quality of the reviews they produce. Yet a review is only useful if acting on it leads to a measurable improvement in the paper. We present AppliedScientist, a closed-loop system that couples an autonomous AI scientist with an AI reviewer, and evaluate it by iteratively revising rejected papers from a range of research subfields. To mirror how human authors build on earlier drafts, the AI scientist has access to its previous versions during revision. To avoid bias from prior judgments, however, each review is generated independently, with the reviewer having no memory of earlier feedback or scores. We compare three revision settings: one initialized with the original venue reviews, one initialized with AI-generated reviews, and autonomous self-revision using the same fixed prompt in every round. Because the reviewer both guides and evaluates the revision, we also assess the human-initialized revisions using Stanford Reviewer as an independent evaluator. Reviewer-guided revision consistently improves more than fixed-prompt self-revision, and Stanford Reviewer also assigns higher scores to later revisions. AppliedScientist resolves 128 of 150 execution-related weaknesses (85.3%), but only 2 of 18 idea-related weaknesses (11.1%), suggesting that iterative revision is effective at improving experiments and implementation, but rarely changes concerns about novelty or significance.
- Abstract（参考訳）: 自動レビューシステムは、それらが生成するレビューの品質に基づいて、ますます評価される。
しかし、レビューは、この論文で測定可能な改善に繋がる場合にのみ有用である。
我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介し、さまざまな研究サブフィールドから削除された論文を反復的に修正することで評価する。
人間の著者が以前のドラフトをどう構築するかを反映するために、AI科学者は修正中に以前のバージョンにアクセスすることができる。
しかし、事前の判断からのバイアスを避けるために、各レビューは独立して生成され、レビュアーは以前のフィードバックやスコアの記憶を持たない。
1つは元の会場レビューで初期化され、もう1つはAI生成レビューで初期化され、もう1つはラウンド毎に同じ固定プロンプトで自律的な自己修正である。
また,レビュアーはリビジョンのガイドと評価を行うため,スタンフォード・レビュアーを独立評価指標として人間初化リビジョンも評価する。
レビュワー誘導リビジョンは固定的な自己修正よりも一貫して改善され、スタンフォード・レビュアーは後のリビジョンにより高いスコアを割り当てる。
AppliedScientistは150件のうち128件(85.3%)を解決しているが、18件のアイデア関連の弱点のうち2件(11.1%)しか解決していない。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality [39.33746637947531]
我々は、主要なAI/NLPカンファレンスと医療雑誌111社を対象に、レビュアーが直面するAIポリシーを調査した。
ICLR 2026とNature CommunicationsのAI生成ピアレビューを,新しいデータセットを用いて評価した。
論文 参考訳（メタデータ） (2026-08-04T12:34:47Z) - Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community [33.39468805524881]
AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。
これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。
以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
論文 参考訳（メタデータ） (2026-06-08T20:38:06Z) - CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。
また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。
CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
論文 参考訳（メタデータ） (2026-05-08T15:44:26Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。