論文の概要: GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries

• arxiv url: http://arxiv.org/abs/2508.00033v1
• Date: Wed, 30 Jul 2025 13:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.592369
• Title: GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries
• Title（参考訳）: GPT-4.1が新しいPythonライブラリを使った自動実験設計の標準設定
• Authors: Nuno Fachada, Daniel Fernandes, Carlos M. Fernandes, Bruno D. Ferreira-Saraiva, João P. Matos-Carvalho,
• Abstract要約: 大規模言語モデル(LLM)は、科学研究におけるコード生成を自動化するツールとして急速に進歩してきた。 本研究では,2つの難易度の高いシナリオに対して,関数型Pythonコードを生成する上で,最先端のLLMの選択を体系的にベンチマークする。
• 参考スコア（独自算出の注目度）: 0.7905066238005297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have advanced rapidly as tools for automating code generation in scientific research, yet their ability to interpret and use unfamiliar Python APIs for complex computational experiments remains poorly characterized. This study systematically benchmarks a selection of state-of-the-art LLMs in generating functional Python code for two increasingly challenging scenarios: conversational data analysis with the \textit{ParShift} library, and synthetic data generation and clustering using \textit{pyclugen} and \textit{scikit-learn}. Both experiments use structured, zero-shot prompts specifying detailed requirements but omitting in-context examples. Model outputs are evaluated quantitatively for functional correctness and prompt compliance over multiple runs, and qualitatively by analyzing the errors produced when code execution fails. Results show that only a small subset of models consistently generate correct, executable code, with GPT-4.1 standing out as the only model to always succeed in both tasks. In addition to benchmarking LLM performance, this approach helps identify shortcomings in third-party libraries, such as unclear documentation or obscure implementation bugs. Overall, these findings highlight current limitations of LLMs for end-to-end scientific automation and emphasize the need for careful prompt design, comprehensive library documentation, and continued advances in language model capabilities.
• Abstract（参考訳）: LLM(Large Language Models)は、科学研究におけるコード生成を自動化するツールとして急速に進歩しているが、複雑な計算実験に慣れていないPython APIを解釈し、使用する能力は、いまだに不十分である。 本研究では,関数型Pythonコード生成における最先端のLCMの選択を,より困難な2つのシナリオに対して,体系的にベンチマークする。すなわち,‘textit{ParShift}ライブラリとの対話データ分析と,‘textit{pyclugen} と‘textit{scikit-learn} を用いた合成データ生成とクラスタリングである。 両方の実験は構造化されたゼロショットプロンプトを使用して、詳細な要件を規定しているが、コンテキスト内の例を省略している。 モデルの出力は、機能的正しさと複数の実行に対するコンプライアンスの促進のために定量的に評価され、コード実行が失敗した時に発生するエラーを定性的に分析することで定性的に評価される。 GPT-4.1は両方のタスクで常に成功する唯一のモデルである。 LLMパフォーマンスのベンチマークに加えて、不明瞭なドキュメンテーションや不明瞭な実装バグなど、サードパーティライブラリの欠点の特定にも役立ちます。 これらの知見は、エンド・ツー・エンドの科学的自動化におけるLLMの現在の限界を強調し、注意深い設計の必要性、包括的なライブラリドキュメント、言語モデル機能の継続的な進歩を強調している。

関連論文リスト

• MRG-Bench: Evaluating and Exploring the Requirements of Context for Repository-Level Code Generation [0.7342677574855649]
  大規模言語モデルのより正確な評価を提供する新しいデータセットである textbfMRG-Bench を紹介する。 我々は,大規模言語モデル,長期コンテキストモデル,RAG関連手法を含む実験を行う。 その結果、ほとんどの手法は「ユーザ要求を理解することの難しさ」に悩まされており、割り当てられたタスクを正確に理解できないことがわかった。
  論文  参考訳（メタデータ） (2025-08-05T01:53:45Z)
• Automated Generation of Commit Messages in Software Repositories [0.7366405857677226]
  コミットメッセージはソフトウェア変更の文書化に不可欠であり、プログラムの理解とメンテナンスを支援する。 機械学習(ML)と自然言語処理(NLP)を用いたコミットメッセージの自動生成手法を提案する。 コード変更とそれに対応するコミットメッセージのデータセットをLiuらによって使用しました。
  論文  参考訳（メタデータ） (2025-04-17T15:08:05Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data [13.108807408880645]
  本稿では,文書から抽出したコンテキストグラフのマルチホップ推論を利用した合成データ生成手法であるCG2Cを提案する。 我々のファクトチェッカーモデルであるFactCGは、同じバックボーンモデルを用いて、より接続された推論によるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2025-01-28T18:45:07Z)
• SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists [59.08999823652293]
  我々は,NLPモデルの包括的評価のために,SyntheVALを提案する。 最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。 我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-30T17:41:30Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models [1.565361244756411]
  本稿では,大規模言語モデル(LLM)を用いて読解項目の生成と評価を行う。 我々は人的・自動的な評価のためのプロトコルを開発した。 以上の結果から,両モデルともゼロショット設定で許容品質のアイテムを生成できることが示唆されるが,GPT-4はLlama 2より明らかに優れていた。
  論文  参考訳（メタデータ） (2024-04-11T13:11:21Z)
• Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
  データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。 オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2024-01-18T18:15:46Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。