論文の概要: AI's Capability in Assisting Scientific Research in Physics, Astrophysics, and Cosmology II: Project Planning and Proposal Evaluation
- arxiv url: http://arxiv.org/abs/2607.25881v1
- Date: Tue, 28 Jul 2026 15:43:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.904068
- Title: AI's Capability in Assisting Scientific Research in Physics, Astrophysics, and Cosmology II: Project Planning and Proposal Evaluation
- Title（参考訳）: 物理・天体物理学・宇宙学におけるAIの科学研究支援能力II:計画と提案評価
- Abstract要約: 1ページの計画は、物理学、天体物理学、宇宙論の8つの専門的な研究プロジェクトのために独立に作成された。
32の提案は、4人の人間レビュアーと2つの新しいフロンティアLSMによって盲目的に評価された。
一方、AIレビュアーはAIによる提案を、人間による提案よりも1ポイント高い評価で評価した。
- 参考スコア（独自算出の注目度）: 2.2351980005694156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate how well large language models (LLMs) can assist scientific project planning and proposal evaluation. One-page project plans were independently generated for eight expert-conceived research projects in physics, astrophysics, and cosmology by human researchers and three contemporary LLMs (ChatGPT, Claude, and DeepSeek; mid-2025 models, used with their default tool access). The resulting 32 proposals were blindly evaluated by four human reviewers and two newer frontier LLMs (Claude Opus 4.8 and ChatGPT Pro 5.5) using a four-aspect evaluation rubric. Reviewers were also asked to identify whether each proposal was written by a human or an AI. Human reviewers rated human- and AI-written proposals similarly overall, whereas both AI reviewers scored AI-written proposals about one point higher (on a five-point scale) than human-written proposals. Human reviewers correctly identified human- and AI-written proposals 72% and 79% of the time, respectively, while both AI reviewers correctly classified all 32 proposals (100%). These results suggest that current LLMs can produce project plans comparable to human-written ones in the eyes of human reviewers, but that AI reviewers show a systematic preference for AI-generated proposals. Our results suggest caution when deploying LLMs widely in proposal preparation and evaluation.
- Abstract（参考訳）: 大規模言語モデル(LLM)が科学的プロジェクト計画や提案評価にどの程度役立つかを検討する。
1ページの計画は、物理学、天体物理学、宇宙論の8つの専門家による研究プロジェクトと、現代の3つのLCM(ChatGPT、Claude、DeepSeek、デフォルトのツールアクセスで使用される2025年半ばのモデル)のために独立に作成された。
その結果得られた32の提案は、4つの人間レビュアーと2つの新しいフロンティアLSM(Claude Opus 4.8とChatGPT Pro 5.5)によって4アスペクト評価ルーブリックを用いて盲目的に評価された。
また、レビュアーは、それぞれの提案が人間かAIによって書かれたかを特定するよう求められた。
一方、AIレビュアーは、人間による提案よりも1ポイント高い(5ポイントのスケールで)AIによる提案をスコア付けした。
人間のレビュワーは、それぞれ72%と79%のAIによる提案を正しく識別し、両方のAIレビュアーは、32の提案全て(100%)を正しく分類した。
これらの結果は,AIレビュアーがAI生成提案を体系的に選好しているのに対し,現在のLLMは人間によるリビュアーの視点で,人間によるリビューに匹敵するプロジェクトプランを作成することができることを示唆している。
提案手法の提案と評価において,LLMを広く展開する際の注意点が示唆された。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment [0.0]
本研究では,大規模国家評価における筆記応答のためのAI支援スコアリングフレームワークの設計と妥当性について述べる。
提案手法は,約150～200ワードの短いテキストに焦点をあて,手作業量を削減するとともに,評価品質の維持を図る。
論文 参考訳（メタデータ） (2026-09-04T13:47:29Z) - AI's Capability in Assisting Scientific Research in Physics, Astrophysics, and Cosmology I: Literature Review [2.2351980005694156]
本研究では,大規模言語モデル(LLM)が学術研究の文献レビューにどの程度役立つかを検討する。
我々は、物理学、天体物理学、宇宙論の分野にまたがる8つの専門家による研究プロジェクトについて、制御された研究を行う。
2025年中頃のLLM (ChatGPT-4o, ChatGPT Deep Research, Gemini) で選択された文献と比較した。
人間とAIが選択した参照の重複は小さく(6%)、AIモデルはまだ有能な専門家による検索を独自に再現していないことを示している。
論文 参考訳（メタデータ） (2026-07-28T12:51:35Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - Learning to Predict Future-Aligned Research Proposals with Language Models [59.79457676644722]
我々は目標から得られた17,771の論文とそれらの事前カットオフ引用の時間一貫性のあるデータセットを構築した。
モデルをトレーニングするために、ターゲットとそれらのカットオフ前の引用から17,771枚のタイム一貫性のあるデータセットを構築します。
Llama-3.1 と Qwen2.5 のモデル全体で、将来のアライメントチューニングは、非アライメントベースラインに対する将来のアライメントを改善する。
論文 参考訳（メタデータ） (2026-03-28T05:41:15Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas [90.26363107905344]
良いアイデアは単に斬新なものではなく、実行後により良い研究がもたらされるべきである。
AIが生み出すアイデアがより良い研究成果をもたらすかどうかをテストするために、我々は実行研究を行う。
実行前後の同じアイデアのレビュースコアを比較すると、LLM生成のアイデアのスコアは専門家によるアイデアよりも大幅に減少する。
論文 参考訳（メタデータ） (2025-06-25T19:47:23Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Predicting Empirical AI Research Outcomes with Language Models [27.148683265085012]
AI研究における有望なアイデアの多くは提供されないが、その検証には相当な人的労力と計算が必要だ。
このタスクの最初のベンチマークを構築し、LMと人間の専門家を比較します。
私たちはカンファレンス論文からアイデアと実験結果を取り除き、ベースモデルがテストの切り離し日後に公表された1,585人の人間による検証されたアイデアペアを生成しました。
我々は,精巧なGPT-4.1と紙検索エージェントを組み合わせたシステムを開発し,25人の人間専門家を雇って比較する。
NLP領域では、我々のシステムは人間の専門家を64.4%対48.で破る。
論文 参考訳（メタデータ） (2025-06-01T02:46:31Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。