論文の概要: AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment

• arxiv url: http://arxiv.org/abs/2610.33644v1
• Date: Sat, 24 Oct 2026 12:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.41511
• Title: AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment
• Title（参考訳）: AlphaIdeaBench: ピアレビューアライメントによるフィージビリティ制約下での自動リサーチアイデア生成のベンチマーク
• Abstract要約: AlphaIdeaBenchは、明示的なリソース予算と共有提案スキーマを組み合わせた100のタスクのベンチマークである。 LLM審査員は、妥当性、ノベルティ、実現可能性に関する12の次元で各提案をスコアする。 ICLR 2026, NeurIPS 2025, ICML 2025の600論文のレビュアーコメントから得られたスコアと, 4つの新奇な軸(確率, 方法, シナリオ, 洞察)のスコアを比較した。
• 参考スコア（独自算出の注目度）: 22.132610448972276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research ideas are always proposed under resource constraints: a plan must fit the available compute, API credit, and time. Yet evaluations of research-ideation agents mostly score unconstrained novelty or overlap with a published paper, and their LLM judges are rarely checked against peer review. We introduce AlphaIdeaBench, a benchmark of 100 ideation tasks (50 workshop calls for papers and 50 open problems stated in surveys), each paired with an explicit resource budget and a shared proposal schema. An LLM judge scores each proposal on 12 dimensions covering validity, novelty, and feasibility. To validate the judge, we compare its scores on four novelty axes (problem, method, scenario, and insight) with scores derived from reviewer comments on 600 papers from ICLR 2026, NeurIPS 2025, and ICML 2025. For problem and method novelty, Gemini 3.7 Flash is within one point of the reviewer-derived score on 94-97% of papers; agreement on scenario novelty is relatively lower. We evaluate eight published harnesses on a shared backbone and, within one harness, eight backbone LLMs. CoI-Agent obtains the highest overall score, narrowly ahead of SciMON, which leads on method and insight novelty. All harnesses score low on scenario novelty and rarely change the problem setting. The backbone largely determines which open problem a proposal targets, whereas the harness determines whether a proposal addresses one problem or combines several. Weaker backbones such as Llama 4 Scout fail to carry out that harness's strategy and score low on budget feasibility. Finally, when only the budget is varied on three topics, a larger budget changes the experimental setting on compute-intensive topics but only adds tests on an inexpensive one. We release the tasks, rubrics, and scores to foster standardized, reproducible benchmarking of future research-ideation agents under constraints.
• Abstract（参考訳）: 研究のアイデアは常にリソースの制約の下で提案されている。 プランは利用可能な計算量、APIクレジット、時間に適合しなければならない。 しかし, 研究理想化エージェントの評価は, 論文の新規性や重複性をほとんど評価しておらず, LLM審査員はピアレビューに対してチェックされることは稀である。 我々はAlphaIdeaBenchという100のアイデアタスク(50のワークショップコールと50のオープンな問題)のベンチマークを紹介します。 LLM審査員は、妥当性、ノベルティ、実現可能性に関する12の次元で各提案をスコアする。 審査員は, 4つの新奇な軸(確率, 方法, シナリオ, 洞察)のスコアを, ICLR 2026, NeurIPS 2025, ICML 2025の600論文のレビュアーコメントから得られたスコアと比較した。 問題とメソッドの新規性については、Gemini 3.7 Flashは94-97%の論文でレビュアー由来のスコアの1ポイント以内であり、シナリオの新規性に関する合意は比較的低い。 共用バックボーンの8つのハーネスと1つのハーネス内8つのバックボーンLLMを評価した。 CoI-AgentはSciMONよりわずかに高いスコアを獲得し、メソッドと洞察のノベルティに導かれる。 すべてのハーネスはシナリオの新規性で低いスコアを獲得し、問題設定を変更することは滅多にありません。 バックボーンは提案対象のオープンな問題を決定するが、ハーネスは提案が1つの問題に対処するか、複数の問題を組み合わせるかを決定する。 Llama 4 Scoutのようなウェイカーバックボーンはそのハーネスの戦略を実行できず、予算実現性で低いスコアを得る。 最後に、予算が3つのトピックで異なる場合、より大きな予算は計算集約的なトピックの実験的な設定を変えるが、安価なトピックでのみテストを追加する。 我々は、制約下での将来の研究理想化エージェントの標準化された再現可能なベンチマークを促進するために、タスク、ルーリック、スコアをリリースする。

関連論文リスト

• Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets [0.0]
  本稿では,対話型エージェント評価のためのリスク認識型コンテキスト型トンプソンサンプリングポリシーを提案する。 私たちは、70ドルの航空会社シナリオと824回のトライアルをオフラインでリプレイしてテストしました。 私たちの主な成果は、最小限の予算で、50回のトライアル(コーパスの6%)で、このポリシーは、オラクルが発見できるインパクト重み付き障害の86%を回復します。
  論文  参考訳（メタデータ） (2026-09-30T04:00:14Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• An Investigation of the NeurIPS and ICML 2025 Position Tracks [10.943390023016574]
  NeurIPS 2025とICML 2025の位置トラックはアジェンダ設定作業のために作られ、初期の構成は監査に値するものであった。 我々は,NeurIPS 2025 および ICML 2025 の位置トラックに対して,予め指定したルーリックの下で,アクセス可能な全ての入力を監査し,その結果のパターンをアジェンダシフトするML論文の参照クラスと比較する。
  論文  参考訳（メタデータ） (2026-07-06T23:49:20Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Evaluating LLM-Based Grant Proposal Review via Structured Perturbations [18.689211845609623]
  我々は、6つの品質軸にまたがるLLM感度を探索する摂動型フレームワークを開発した。 我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2026-03-09T11:53:50Z)
• Which Coauthor Should I Nominate in My 99 ICLR Submissions? A Mathematical Analysis of the ICLR 2026 Reciprocal Reviewer Nomination Policy [11.011505065410354]
  ICLR 2026はレビュアーの指名ポリシーを導入し、各提出者はレビュアーとして著者の1人を指名しなければならない。 我々は,デスク-リジェクションリスク最小化問題の3つの変種を定式化し,解析する。 次に、論文数を制限するハードかつソフトなリミットの亜種を導入し、ある著者が無責任であれば、広範囲にわたる失敗を防ぎます。
  論文  参考訳（メタデータ） (2025-12-17T01:21:29Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。