論文の概要: Measuring the Creativity of Frontier LLMs in Automated Research
- arxiv url: http://arxiv.org/abs/2609.14057v1
- Date: Sat, 12 Sep 2026 17:15:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.647869
- Title: Measuring the Creativity of Frontier LLMs in Automated Research
- Title（参考訳）: 自動研究におけるフロンティアLDMの創造性の測定
- Abstract要約: 価値と斬新さの2つの次元に沿って創造性を評価するための指標セットを提案する。
価値は、提案されたアイデアが有用かどうかを評価する一方、新規性は3つの視点から評価される。
評価の結果,ほとんどのクリエイティビティ指標では比較的類似したスコアが得られたが,変数レベルのP-Noveltyでは大きく異なることがわかった。
- 参考スコア（独自算出の注目度）: 4.250704685461462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier LLMs are increasingly capable of conducting automated research, yet their creativity in this setting has not been systematically evaluated. In this paper, we propose a set of metrics to evaluate creativity along the two dimensions of valueness and novelty. Valueness assesses whether each proposed idea is useful, while novelty is evaluated from three perspectives: whether the same idea has appeared before (Exact-Match P-Novelty), whether a previously unexplored variable or variable combination is explored (Variable-level P-Novelty), and whether the idea directly follows retrieved external knowledge or departs from it (H-Novelty). Our evaluation shows that the models achieve relatively similar scores on most creativity metrics, but differ substantially in Variable-level P-Novelty, which reflects the breadth of research-space exploration. Further correlation and idea-level performance analyses show that Variable-level P-Novelty is the creativity dimension most strongly associated with research performance.
- Abstract（参考訳）: 最前線のLSMは、自動化された研究を行う能力がますます高まっているが、この環境での創造性は体系的に評価されていない。
本稿では,価値と新規性の2次元に沿った創造性を評価するための指標セットを提案する。
価値は、提案されたアイデアが有用であるかどうかを評価する一方で、新規性は、3つの視点から評価される: 同一のアイデアが以前に現れたかどうか(Exact-Match P-Novelty)、未探索変数または変数の組み合わせが探索されたかどうか(可変レベルP-Novelty)、そして、そのアイデアが直接検索された外部知識に従うか、それから離脱するか(H-Novelty)。
評価の結果,研究空間探索の幅広さを反映した可変レベルのP-Noveltyでは,比較的類似したスコアが得られた。
さらに相関関係と概念レベルの性能分析により、可変レベルのP-ノベルティが、研究成果に最も強く結びついている創造性次元であることが示された。
関連論文リスト
- AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。
5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
論文 参考訳（メタデータ） (2026-09-07T15:19:13Z) - Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。
オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。
提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
論文 参考訳（メタデータ） (2026-06-10T07:37:06Z) - Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。
人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。
このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
論文 参考訳（メタデータ） (2026-03-11T00:54:10Z) - InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem [87.30601926271864]
InnoEvalは、人間レベルのアイデアアセスメントをエミュレートするために設計された、深いイノベーション評価フレームワークである。
我々は,多様なオンライン情報源から動的証拠を検索し,根拠とする異種深層知識検索エンジンを適用した。
InnoEvalをベンチマークするために、権威あるピアレビューされた提案から派生した包括的なデータセットを構築します。
論文 参考訳（メタデータ） (2026-02-16T00:40:31Z) - Navigating Ideation Space: Decomposed Conceptual Representations for Positioning Scientific Ideas [35.25560221100292]
新しいアイデアは、既存の知識の絶え間なく拡大しているランドスケープの中に配置する必要がある。
現在の埋め込みアプローチは、異なる概念的側面を単一の表現に分割する。
科学的知識を3つの異なる次元に分解する構造化表現である観念空間を導入する。
論文 参考訳（メタデータ） (2026-01-13T18:56:11Z) - Evaluation Framework for AI Creativity: A Case Study Based on Story Generation [5.536493649574258]
既存の基準ベースのメトリクスは創造性の主観的な性質を捉えていないため、創造的なテキスト生成を評価することは依然として課題である。
そこで本研究では,AIストーリー生成のための構造化評価フレームワークを提案する。4つのコンポーネント(Novelty,Value,Adherence,Resonance)と11のサブコンポーネントからなる。
Spike Prompting'による制御されたストーリー生成と115人の読者によるクラウドソースによる研究を用いて、創造的要素が即時および反射的な人間の創造的判断の両方をどう形成するかを検討する。
論文 参考訳（メタデータ） (2026-01-07T08:31:08Z) - CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
創造性はしばしば人間の知能の目印と見なされる。
さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。
本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
論文 参考訳（メタデータ） (2025-10-23T00:22:10Z) - Harnessing Large Language Models for Scientific Novelty Detection [49.10608128661251]
科学的ノベルティ検出(ND)のための大規模言語モデル(LLM)を提案する。
そこで本研究では,LLMからアイデアレベルの知識を抽出し,ライトウェイトなレトリバーを訓練することを提案する。
実験の結果,提案手法は,アイデア検索やNDタスクのためのベンチマークデータセットにおいて,常に他よりも優れていた。
論文 参考訳（メタデータ） (2025-05-30T14:08:13Z) - IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。
包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。
私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。
まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
論文 参考訳（メタデータ） (2024-10-31T17:04:59Z) - Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。
我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。
その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
論文 参考訳（メタデータ） (2024-09-07T02:07:22Z) - Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.26363107905344]
大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。
LLMシステムは、新しい専門家レベルのアイデアを生み出すための第一歩を踏み出すことができるという評価はない。
論文 参考訳（メタデータ） (2024-09-06T08:25:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。