論文の概要: AutoRecLab: Describe the Experiment, Get the Code!

• arxiv url: http://arxiv.org/abs/2609.21863v1
• Date: Fri, 18 Sep 2026 14:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.155475
• Title: AutoRecLab: Describe the Experiment, Get the Code!
• Title（参考訳）: AutoRecLab: 実験を記述し、コードを取得する!
• Abstract要約: AutoRecLabはPythonベースのRecSysラボで、自然言語のプロンプトから実験を自動化する。 研究のアイデアを前提として、AutoRecLabは明示的な実験要件を導き、プロトタイプを構築し、検証し、要求された完全な実験に反復的に拡張する。 当社のデモでは、AutoRecLabが自動で、明示的でシンプルなフィードバック変換研究を実装しています。
• 参考スコア（独自算出の注目度）: 5.791553936063214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical evaluation is central to recommender-systems (RecSys) research, but turning experimental designs into executable code remains a manual and error-prone task. We present AutoRecLab, a Python-based autonomous RecSys lab that automates RecSys experiments from natural-language prompts. Given a research idea, AutoRecLab derives explicit experiment requirements, builds and validates a prototype, and iteratively expands it into the requested full experiment. The workflow combines retrieval-augmented generation (RAG) for documentation lookup, static type verification, and execution-steered tree search. In our demonstration, AutoRecLab autonomously implements an explicit-to-implicit feedback conversion study. In a baseline comparison across six algorithms and three datasets, 8 of 9 runs succeed at an average cost of approx- imately $1 per run with GPT-5.4-mini.
• Abstract（参考訳）: 実験的な評価はレコメンデータシステム(RecSys)の研究の中心であるが、実験的な設計を実行可能なコードに変換することは手動でエラーを起こしやすい作業である。 我々はPythonベースの自律型RecSysラボであるAutoRecLabを紹介し、自然言語のプロンプトからRecSys実験を自動化する。 研究のアイデアを前提として、AutoRecLabは明示的な実験要件を導き、プロトタイプを構築し、検証し、要求された完全な実験に反復的に拡張する。 このワークフローは、ドキュメント検索、静的型検証、実行管理ツリー検索のための検索強化生成(RAG)を組み合わせる。 当社のデモでは、AutoRecLabが自動で、明示的でシンプルなフィードバック変換研究を実装しています。 6つのアルゴリズムと3つのデータセットのベースライン比較では、9つのうち8つがGPT-5.4-miniで1回平均1ドルで成功している。

関連論文リスト

• Claw AI Lab: An Autonomous Multi-Agent Research Team [73.07229229907435]
  今回紹介するClaw AI Labは,ラボネイティブな自律型研究プラットフォームである。 1つのエージェントや固定されたシリアルワークフローを中心にシステムを集中するのではなく、ユーザーは1つのプロンプトから完全な研究チームをインスタンス化できる。 Claw-Code Harnessはローカル、データセット、チェックポイントを接続して実行可能な実験を行い、実行成果物を研究ループにフィードバックする。
  論文  参考訳（メタデータ） (2026-05-21T16:02:53Z)
• GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries [0.649540541957527]
  大規模言語モデル(LLM)は、科学研究におけるコード生成を自動化するツールとして急速に進歩してきた。 本研究では,関数型Pythonコードを生成する上で,最先端のLLMの選択を体系的にベンチマークする。 結果は、モデルの小さなサブセットだけが一貫して正しい実行可能なコードを生成することを示している。
  論文  参考訳（メタデータ） (2025-07-30T13:11:29Z)
• From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
  AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。 我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。 本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-24T15:39:20Z)
• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
  本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。 自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。 調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:46Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• Wanted: standards for automatic reproducibility of computational experiments [4.175381092341017]
  本研究は,計算実験の実施方法を特定するための機械可読言語について論じる。 興味のある利害関係者には、https://github.com/charmoniumQ/execution-description.comでこの言語について議論することをお勧めします。
  論文  参考訳（メタデータ） (2023-07-21T06:45:56Z)
• SIERRA: A Modular Framework for Research Automation and Reproducibility [6.1678491628787455]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、独立変数上のクエリから実行可能な実験を生成するプロセスを自動化することで研究を加速する。 個々の研究者のニーズに応じてカスタマイズと拡張が容易なモジュラーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2022-08-16T15:36:34Z)
• SIERRA: A Modular Framework for Research Automation [5.220940151628734]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、実験用の独立変数を素早く指定し、実験的な入力を生成し、実験を自動的に実行し、結果を処理してグラフやビデオなどの成果物を生成する。 個々の研究者のニーズに対して、簡単にカスタマイズと自動化の拡張を可能にする、深くモジュール化されたアプローチを採用している。
  論文  参考訳（メタデータ） (2022-03-03T23:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。