論文の概要: CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation

• arxiv url: http://arxiv.org/abs/2503.22708v1
• Date: Thu, 20 Mar 2025 22:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-06 08:38:00.113826
• Title: CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation
• Title（参考訳）: CodeScientist: コードベースの実験による半自動科学発見
• Authors: Peter Jansen, Oyvind Tafjord, Marissa Radensky, Pao Siangliulue, Tom Hope, Bhavana Dalvi Mishra, Bodhisattwa Prasad Majumder, Daniel S. Weld, Peter Clark,
• Abstract要約: CodeScientistは、遺伝的検索の形式として、アイデアと実験を共同で行う新しいASDシステムである。 我々はこのパラダイムを用いて、エージェントと仮想環境の領域において、機械生成のアイデアを幅広く数百もの自動実験する。
• 参考スコア（独自算出の注目度）: 48.12054700748627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the surge of interest in autonomous scientific discovery (ASD) of software artifacts (e.g., improved ML algorithms), current ASD systems face two key limitations: (1) they largely explore variants of existing codebases or similarly constrained design spaces, and (2) they produce large volumes of research artifacts (such as automatically generated papers and code) that are typically evaluated using conference-style paper review with limited evaluation of code. In this work we introduce CodeScientist, a novel ASD system that frames ideation and experiment construction as a form of genetic search jointly over combinations of research articles and codeblocks defining common actions in a domain (like prompting a language model). We use this paradigm to conduct hundreds of automated experiments on machine-generated ideas broadly in the domain of agents and virtual environments, with the system returning 19 discoveries, 6 of which were judged as being both at least minimally sound and incrementally novel after a multi-faceted evaluation beyond that typically conducted in prior work, including external (conference-style) review, code review, and replication attempts. Moreover, the discoveries span new tasks, agents, metrics, and data, suggesting a qualitative shift from benchmark optimization to broader discoveries.
• Abstract（参考訳）: ソフトウェアアーティファクトの自律的科学的発見(ASD)への関心の高まり(例えば、改良されたMLアルゴリズム)にもかかわらず、現在のASDシステムは、(1)既存のコードベースや同様の制約のある設計空間の変種を主に探求し、(2)コードの評価を限定した会議スタイルの論文レビューを用いて評価される大量の研究アーティファクト(自動生成された論文やコードなど)を生成する、という2つの重要な制限に直面している。 本研究では,研究論文と共通行動を定義するコードブロック(言語モデルなど)を組み合わせた遺伝的検索の形式として,概念化と実験を行う新しいASDシステムであるCodeScientistを紹介する。 このパラダイムは、エージェントや仮想環境の領域において、機械生成のアイデアを広範囲に展開する数百の自動化実験を行うために使用され、システム内の6つの発見は、外部(会議スタイル)のレビュー、コードレビュー、複製試行を含む、従来の作業以上に、少なくとも最小限のサウンドと漸進的な評価の両方であると判断された。 さらに、発見は新しいタスク、エージェント、メトリクス、データにまたがっており、ベンチマーク最適化からより広範な発見への質的なシフトが示唆されている。

関連論文リスト

• ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies [16.90884865239373]
  本研究では,研究方法論の体系化を自動化する新しいマルチエージェントシステムであるResearchCodeAgentを紹介する。 このシステムは、ハイレベルな研究概念と実践的な実装のギャップを埋める。 ResearchCodeAgentは、研究実施プロセスに向けた重要なステップであり、機械学習研究のペースを加速する可能性がある。
  論文  参考訳（メタデータ） (2025-04-28T07:18:45Z)
• IRIS: Interactive Research Ideation System for Accelerating Scientific Discovery [27.218896203253987]
  IRISは、研究者が大規模言語モデル(LLM)を補助する科学的概念を活用するために設計されたオープンソースのプラットフォームである。 IRISは、モンテカルロ木探索(MCTS)による適応的なテスト時間計算拡張、きめ細かいフィードバック機構、クエリベースの文献合成など、アイデアを強化する革新的な機能を備えている。 我々は様々な分野の研究者とユーザスタディを行い、システムの有効性を検証し、アイデアの充実を図っている。
  論文  参考訳（メタデータ） (2025-04-23T14:01:36Z)
• The AI Cosmologist I: An Agentic System for Automated Data Analysis [0.0]
  AIの宇宙論者は、アイデア生成から実験評価、研究普及までの完全なパイプラインを実装している。 従来の自動機械学習システムとは異なり、AI Cosmoologistは多様な実装戦略を生成する。 その結果, エージェントシステムは研究プロセスの一部を自動化し, 科学的発見を加速させる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-04T13:12:08Z)
• Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field [0.0]
  本稿では,異なる研究トピック間の意味的関係を識別する大規模モデルの能力について分析する。 我々はそのタスクを評価するためにIEEE Thesaurusに基づく金の標準を開発した。 Mixtral-8x7B、Dolphin-Mistral、Claude 3-7Bなど、いくつかの優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-12-11T10:11:41Z)
• Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System [62.832818186789545]
  Virtual Scientists (VirSci) は、科学研究に固有のチームワークを模倣するために設計されたマルチエージェントシステムである。 VirSciは研究のアイデアを共同で生成し、評価し、洗練するエージェントのチームを組織している。 このマルチエージェントアプローチは、新しい科学的アイデアを生み出す上で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:16:22Z)
• Fast and Slow Generating: An Empirical Study on Large and Small Language Models Collaborative Decoding [27.004817441034795]
  大規模言語モデルと小言語モデル(SLM)の協調的復号化は,これらの問題を緩和するための有望な戦略を示す。 両プロセス認知理論に着想を得て,FS-GEN(Fast and Slow Generating)と呼ばれる統合フレームワークを提案する。 このフレームワーク内では、LSMはSystem 2(slow and intention)に、独立したSLMはSystem 1に分類される。
  論文  参考訳（メタデータ） (2024-06-18T05:59:28Z)
• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems [1.204357447396532]
  ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。 ベイズ最適化の原理にインスパイアされたサンプル効率のNS法を提案する。 BEACONは、限られたサンプリング予算の下で、かなり大きな多様な振る舞いの集合を見出すことで、既存のベースラインを総合的に上回ります。
  論文  参考訳（メタデータ） (2024-06-05T20:23:52Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• SIERRA: A Modular Framework for Research Automation and Reproducibility [6.1678491628787455]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、独立変数上のクエリから実行可能な実験を生成するプロセスを自動化することで研究を加速する。 個々の研究者のニーズに応じてカスタマイズと拡張が容易なモジュラーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2022-08-16T15:36:34Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Memetic Search for Vehicle Routing with Simultaneous Pickup-Delivery and Time Windows [31.512563458410963]
  本稿では,この問題を解決するために,局所探索を効率的に行うメメティックアルゴリズム(MATE)を提案する。 MATEは最先端のアルゴリズムをすべて上回り、特に12インスタンス(合計65インスタンス)でよく知られた新しいソリューションを見つける。
  論文  参考訳（メタデータ） (2020-11-12T12:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。