論文の概要: Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment
- arxiv url: http://arxiv.org/abs/2608.29696v1
- Date: Sun, 30 Aug 2026 10:10:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.047011
- Title: Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment
- Title（参考訳）: Ideation Arena: バトルスタイルの人間専門家評価によるLLM生成研究思想の評価
- Abstract要約: 理想アリーナ(Ideantion Arena)は、対人的評価を通じて研究思想を評価する戦闘スタイルのプラットフォームである。
105人のコンピュータサイエンス研究者から6000以上の盲目対比較を集めました。
我々は,コンピュータ科学における提案段階の専門家選好のEloレーティング・リーダーボードを構築した。
- 参考スコア（独自算出の注目度）: 18.14707450829467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating research ideas generated by LLMs is difficult because their scientific value cannot be fully determined by objective criteria, and no single reference answer specifies what counts as a good idea. To address this challenge, we introduce Ideation Arena, a battle style platform that evaluates research ideas through pairwise human assessment. Ideation Arena evaluates ideas generated by 14 frontier LLMs and 5 research agent architectures built on 2 base models. To ensure a common starting point, Ideation Arena builds shared literature contexts from papers familiar to the participating researchers and provides the same contexts to all LLMs and agents. We collect over 6,000 double blind pairwise comparisons from 105 active computer science researchers and construct an Elo rating leaderboard of proposal-stage expert preferences in computer science under a shared closed-context protocol. We validate the rankings through interrater agreement and robustness analyses, showing that the leaderboard remains stable under changes in annotator composition and domain coverage. Our results show substantial variation in agent effectiveness, with some frameworks improving ideation quality over their backbones and others offering little benefit or even underperforming their base models. We further construct Ideation Arena Eval, a benchmark for assessing whether automated evaluators align with human preferences in research ideation. Experiments with current LLM judges show that they still cannot reliably reproduce expert preferences, with the best judge reaching 72.56% Soft Accuracy on Overall Quality. Our code, data, and leaderboards are available at https://github.com/foss12138/Research-Ideation-Arena.
- Abstract（参考訳）: LLMが生み出す研究思想を評価するのは難しいのは、その科学的価値が客観的な基準によって完全に決定できないためであり、良いアイデアとして数えられるものを特定する単一の基準回答は存在しないからである。
この課題に対処するために,両立人間による評価を通じて研究思想を評価する戦闘スタイルのプラットフォームであるIdeantion Arenaを紹介した。
Ideation Arenaは、2つのベースモデル上に構築された14のフロンティアLSMと5つの研究エージェントアーキテクチャによって生成されたアイデアを評価している。
共通の出発点を確保するため、Ideantion Arenaは参加研究者に親しんだ論文から共有された文献コンテキストを構築し、全てのLLMとエージェントに同じコンテキストを提供する。
105人のコンピュータサイエンス研究者から6000以上の盲目対比較を収集し、コンピュータサイエンスにおける提案段階の専門家選好のEloレーティングリーダーボードを、共有クローズドコンテクストプロトコルの下で構築する。
我々は,アノテータの構成やドメインカバレッジの変化の下で,リーダボードが安定していることを示す,相互契約やロバスト性分析を通じてランキングを検証した。
この結果から, エージェントの有効性は著しく変化しており, バックボーンよりもアイデアの質が向上するフレームワークもあれば, ベースモデルの性能が低下するフレームワークもある。
さらに、自動評価器が研究思想における人間の嗜好に合致するかどうかを評価するためのベンチマークであるIdeantion Arena Evalを構築した。
現在のLCMの審査員による実験では、専門家の選好を確実に再現することはできないことが示されており、優れた審査員は総品質について72.56%のソフト・クオリティに到達している。
コード、データ、およびリーダーボードはhttps://github.com/foss12138/Research-Ideation-Arena.comで入手できる。
関連論文リスト
- LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation [36.122822391024755]
LigBenchはAI研究のアイデアをきめ細やかで信頼性の高い評価を可能にする自動評価ベンチマークである。
PAIR-IQは、ペアワイズなアイデア判断モデルをトレーニングするためのデータセットである。
実験により、LigBenchは安定かつ解釈可能な評価を達成することが示された。
論文 参考訳（メタデータ） (2026-08-13T12:11:23Z) - Budgeted Subset Refinement for Execution-Aware LLM Research Ideation [0.0]
大規模言語モデル(LLM)は、専門家レビュアーにとって新しい研究アイデアを生み出すことができるが、最近の研究は、そのようなアイデアが多様性を欠いていることもしばしば示している。
本稿では,事前実行スキャフォールディング問題に対する制御されたプロキシベンチマークを評価する。
我々は,選択された候補のサブセットのみを洗練させる戦略のファミリーである予算サブセットリファインメントを導入する。
論文 参考訳（メタデータ） (2026-05-09T14:54:36Z) - InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem [87.30601926271864]
InnoEvalは、人間レベルのアイデアアセスメントをエミュレートするために設計された、深いイノベーション評価フレームワークである。
我々は,多様なオンライン情報源から動的証拠を検索し,根拠とする異種深層知識検索エンジンを適用した。
InnoEvalをベンチマークするために、権威あるピアレビューされた提案から派生した包括的なデータセットを構築します。
論文 参考訳（メタデータ） (2026-02-16T00:40:31Z) - Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。
より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文 参考訳（メタデータ） (2025-08-11T13:08:07Z) - SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。
集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。
収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文 参考訳（メタデータ） (2025-07-01T17:51:59Z) - The Leaderboard Illusion [61.27964089648608]
アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。
我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
論文 参考訳（メタデータ） (2025-04-29T15:48:49Z) - IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。
包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。
私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。
まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
論文 参考訳（メタデータ） (2024-10-31T17:04:59Z) - Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。
我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
論文 参考訳（メタデータ） (2024-05-30T17:19:19Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations [10.709365940160685]
現代の大規模言語モデル(LLM)は、自動評価と比較が難しい。
本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。
我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
論文 参考訳（メタデータ） (2023-07-06T04:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。