論文の概要: Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks
- arxiv url: http://arxiv.org/abs/2608.30047v1
- Date: Sun, 30 Aug 2026 21:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.16583
- Title: Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks
- Title（参考訳）: LLMエージェントは発見できるか? MLエンジニアリングタスクにおける創造性の評価
- Abstract要約: 本稿では,MLエンジニアリングタスクをテストベッドとして,マルチターンLLM研究エージェントの創造性を評価するためのフレームワークを提案する。
LLM-as-a-Judgeパイプラインを開発し、人間の創造性判断との強い相関性を検証する。
このパイプラインをエージェント・トラジェクトリーに適用すると,(1)探索から搾取への移行に伴うP-Creativityの低下を示す全てのエージェント,(2)LLMはメダル獲得者よりもH-Creativityの低下を示すが,性能は低下する。
- 参考スコア（独自算出の注目度）: 6.696727578876306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent AI systems promise autonomous scientific discovery, claiming to discover algorithms and produce research papers, yet understanding whether they exhibit creativity, the capacity to produce solutions that are both novel and useful, remains an open question. We present a framework for evaluating multi-turn LLM research agents' creativity using ML engineering tasks as a testbed, through three dimensions: P-Creativity (psychological novelty: novel relative to the agent's own prior solutions within a run), H-Creativity (historical novelty: novel relative to the corpus of human solutions), and Usefulness (task performance). Evaluating two agent frameworks, AIDE and AIRA-Dojo, on 10 Kaggle-style machine learning tasks from MLE-Bench, we develop an LLM-as-a-Judge pipeline and verify its strong correlation with human creativity judgments, providing a reliable automated metric for P-Creativity evaluation at scale. Applying this pipeline to agent trajectories, we find: (1) all agents exhibit declining P-Creativity as they transition from exploration to exploitation; (2) LLMs exhibit greater H-Creativity than medal-winning humans, yet achieve lower performance. Our findings reveal that current agents can explore novel regions of the solution space but lack the capacity to convert this novelty into improved task performance.
- Abstract（参考訳）: 最近のAIシステムは、自律的な科学的発見を約束し、アルゴリズムを発見し、研究論文を作成するが、創造性を示すか、新規で有用なソリューションを作り出す能力があるかは、未解決のままである。
P-Creativity(心理学的ノベルティ:エージェントの以前のソリューションに対する新規性)、H-Creativity(歴史的ノベルティ:人間のソリューションのコーパスに対する新規性)、Usefulness(タスクパフォーマンス)の3つの次元を通じて、MLエンジニアリングタスクをテストベッドとして多ターンLDM研究エージェントの創造性を評価するための枠組みを提案する。
AIDEとAIRA-Dojoの2つのエージェントフレームワークをMLE-BenchからKaggleスタイルの機械学習タスクで評価し、LLM-as-a-Judgeパイプラインを開発し、人間の創造性判断との強い相関性を検証し、大規模なP-Creativity評価のための信頼性の高い自動メトリクスを提供する。
このパイプラインをエージェント・トラジェクトリーに適用すると,(1)探索から搾取への移行に伴うP-Creativityの低下を示す全てのエージェント,(2)LLMはメダル獲得者よりもH-Creativityの低下を示すが,性能は低下する。
その結果,現在のエージェントは解空間の新規領域を探索できるが,この新規性を向上したタスク性能に変換する能力は欠如していることが判明した。
関連論文リスト
- Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。
オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。
提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
論文 参考訳（メタデータ） (2026-06-10T07:37:06Z) - LLM Agents Beyond Utility: An Open-Ended Perspective [50.809163251551894]
我々は、事前訓練されたLLMエージェントを、自身のタスクを生成し、知識を蓄積し、その環境と広範囲に相互作用する能力で強化する。
複雑なマルチステップ命令を確実に追跡し、実行中に情報を保存、再利用し、独自のタスクを提案し、解決することができる。
迅速な設計や反復的なタスク生成に敏感であり、自己表現を形成することができない。
論文 参考訳（メタデータ） (2025-10-16T10:46:54Z) - AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems [28.38783951577184]
AInsteinは、AI研究問題に対する有効なソリューションを、大規模言語モデルが生成できるかどうかをテストするためのフレームワークである。
受け入れ層により層状化された1,214 ICLR紙上でのAInsteinの評価を行った。
論文 参考訳（メタデータ） (2025-10-06T22:50:41Z) - Agentic Additive Manufacturing Alloy Discovery [10.771896497348969]
本研究の目的は, 大型言語モデル (LLM) により, 添加物製造分野における合金発見作業の自動化と高速化を図ることである。
論文 参考訳（メタデータ） (2025-10-02T21:06:04Z) - ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。
ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。
単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
論文 参考訳（メタデータ） (2025-03-12T16:05:31Z) - MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。
これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。
我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文 参考訳（メタデータ） (2025-02-20T12:28:23Z) - Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.26363107905344]
大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。
LLMシステムは、新しい専門家レベルのアイデアを生み出すための第一歩を踏み出すことができるという評価はない。
論文 参考訳（メタデータ） (2024-09-06T08:25:03Z) - Benchmarking Language Model Creativity: A Case Study on Code Generation [39.546827184857754]
本研究では,LLMの創造性を定量化するフレームワークを提案する。
生成した創造的応答における収束的思考と発散的思考の両方を定量化する計量であるNEOGAUGEを定義する。
我々はCodeforcesの問題に関する提案されたフレームワークをテストする。これは、タスクをコーディングするための自然なデータセットと、先行する人間のソリューションのコレクションの両方に役立ちます。
論文 参考訳（メタデータ） (2024-07-12T05:55:22Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳（メタデータ） (2024-07-07T07:15:49Z) - Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification [34.97881486372797]
オープンエージェントの構築は常にAI研究の最終的な目標であり、クリエイティブエージェントはより魅力的です。
エージェントがギャップを埋める自律的な実施検証手法を導入し、創造的なタスクの基盤を築き上げます。
具体的には,2段階の自律的実施検証を取り入れた,Minecraftにおける創造的建築タスクを目標とするLubanエージェントを提案する。
論文 参考訳（メタデータ） (2024-05-24T10:25:59Z) - MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。
我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。
我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
論文 参考訳（メタデータ） (2023-11-16T08:52:27Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳（メタデータ） (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。