論文の概要: How Is Automated Research Evaluated? A Survey of Benchmarks and Evaluation Practices

• arxiv url: http://arxiv.org/abs/2610.11877v1
• Date: Thu, 08 Oct 2026 12:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.033752
• Title: How Is Automated Research Evaluated? A Survey of Benchmarks and Evaluation Practices
• Title（参考訳）: 自動化研究はどのように評価されるか : ベンチマークと評価の実践調査
• Abstract要約: 評価設計と証拠の観点から,本文献を概観する。 タスク構築、エビデンスソース、評価器、スコアリング手順を比較し、異なる設計で評価された能力を説明する。 この調査は、読者が既存の評価をナビゲートし、適切なベンチマークを選択し、その後の研究を設計するのに役立つ。
• 参考スコア（独自算出の注目度）: 44.50872112497178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated research systems support literature synthesis, ideation, experiments, writing, and peer review, but their evaluation is dispersed across tasks, benchmarks, and studies that are difficult to compare directly. We review this literature from the perspective of evaluation design and evidence, covering six targets: literature synthesis, research ideation, executable workflows, scholarly writing and communication, automatic peer review, and end-to-end research. We compare task construction, evidence sources, evaluators, and scoring procedures to explain the capabilities assessed by different designs. Our synthesis highlights three recurring lessons: output checks, process checks, and human studies provide complementary information; evaluator calibration is specific to the property being assessed; and resource budgets and attempt selection are integral to interpreting performance comparisons. We identify diagnostic evaluation designs and documented gaps in supporting evidence, and translate these comparisons into reporting and audit recommendations for specific evaluation settings. The survey helps readers navigate existing evaluations, select appropriate benchmarks, and design subsequent studies.
• Abstract（参考訳）: 自動研究システムは、文学合成、アイデア、実験、執筆、査読をサポートするが、それらの評価は直接比較が難しいタスク、ベンチマーク、研究に分散している。 本論文は,評価設計とエビデンスの観点から,文献合成,研究構想,実行可能なワークフロー,学術的な執筆とコミュニケーション,自動ピアレビュー,エンドツーエンドリサーチの6つの目標について検討する。 タスク構築、エビデンスソース、評価器、スコアリング手順を比較し、異なる設計で評価された能力を説明する。 出力チェック,プロセスチェック,ヒューマンスタディは相補的な情報を提供し,評価対象のプロパティには評価器の校正が特有であり,資源予算と試行選択は性能比較の解釈に不可欠である。 本研究は, 診断評価設計と証拠の文書化ギャップを同定し, これらの比較結果を, 特定の評価設定に対する報告・監査勧告に翻訳する。 この調査は、読者が既存の評価をナビゲートし、適切なベンチマークを選択し、その後の研究を設計するのに役立つ。

関連論文リスト

• What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review [6.446568742921826]
  レビューでは、どの評価を見積もるか、どの設計支援を結論付けるかを検討する。 設計は、治療コントラスト、対象人口、結果、予算制約、概要測定、識別仮定によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-09-27T03:26:34Z)
• Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
  テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。 意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。 これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
  論文  参考訳（メタデータ） (2026-09-10T06:20:22Z)
• Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks [0.19336815376402716]
  人工知能におけるエージェントという用語は、AIエージェントの評価、比較、研究を複雑にする標準的な定義を欠いている。 このレビューはエージェント評価の現在の状況について構造化された説明を提供し、確立されたアプローチと、評価が限定的あるいは一貫性のない領域の両方を強調している。 また,このレビューから得られた評価手法を整理し,拡張する公開デジタルリソースであるAgent Compendiumについても紹介する。
  論文  参考訳（メタデータ） (2026-09-10T02:50:29Z)
• Benchmark for Evaluation and Analysis of Citation Recommendation Models [0.0]
  我々は、引用推薦モデルの解析と比較を専門とするベンチマークを開発する。 このベンチマークは、引用コンテキストの異なる特徴に基づいてモデルの性能を評価する。 これは有意義な比較を可能にし、この分野におけるさらなる研究と開発のための有望なアプローチを特定するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-12-10T18:01:33Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation [3.624563211765782]
  評価手法の最良の選択は、ある側面から別の側面まで様々であることを示す。 その結果,アノテータの総数は研究力に強い影響を及ぼす可能性が示唆された。 現在の統計解析手法では、I型エラー率を最大8倍にすることができる。
  論文  参考訳（メタデータ） (2021-01-27T10:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。