論文の概要: LMR-BENCH: Evaluating LLM Agent's Ability on Reproducing Language Modeling Research

• arxiv url: http://arxiv.org/abs/2506.17335v1
• Date: Thu, 19 Jun 2025 07:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.35885
• Title: LMR-BENCH: Evaluating LLM Agent's Ability on Reproducing Language Modeling Research
• Title（参考訳）: LMR-BENCH:LLMエージェントの言語モデリング研究における能力評価
• Authors: Shuo Yan, Ruochen Li, Ziming Luo, Zimu Wang, Daoyang Li, Liqiang Jing, Kaiyu He, Peilin Wu, George Michalopoulos, Yue Zhang, Ziyang Zhang, Mian Zhang, Zhiyu Chen, Xinya Du,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、科学的発見の進展に顕著な可能性を証明している。 しかし、研究論文、特にNLPドメインからコードを再生する能力は、いまだ解明されていない。 本稿ではLMR-BENCHについて述べる。LMR-BENCHは言語モデリング研究におけるLLMエージェントのコード再生能力を評価するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 32.35279830326718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents have demonstrated remarkable potential in advancing scientific discovery. However, their capability in the fundamental yet crucial task of reproducing code from research papers, especially in the NLP domain, remains underexplored. This task includes unique complex reasoning challenges in the intellectual synthesis of abstract concepts and the comprehension of code repositories with interdependent files. Motivated by this gap, we present LMR-BENCH, a benchmark designed to systematically evaluate the capability of LLM agents on code reproduction from Language Modeling Research. It consists of 28 code reproduction tasks derived from 23 research papers published in top-tier NLP venues over the past five years, spanning nine fundamental categories. Models are provided with a research paper, a code repository containing one or more masked functions, and instructions for implementing these functions. We conduct extensive experiments in standard prompting and LLM agent settings with state-of-the-art LLMs, evaluating the accuracy of unit tests and performing LLM-based evaluation of code correctness. Experimental results reveal that even the most advanced models still exhibit persistent limitations in scientific reasoning and code synthesis, highlighting critical gaps in LLM agents' ability to autonomously reproduce scientific research
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、科学的発見の進展に顕著な可能性を証明している。 しかしながら、研究論文、特にNLPドメインからコードを再現する基本的な重要なタスクにおけるそれらの能力は、いまだ解明されていない。 このタスクには、抽象概念の知的合成と相互依存ファイルによるコードリポジトリの理解において、ユニークな複雑な推論課題が含まれている。 LMR-BENCHは,Language Modeling Researchのコード再生におけるLLMエージェントの能力を体系的に評価するベンチマークである。 過去5年間でトップレベルのNLP会場で発表された23の研究論文から派生した28のコード再現タスクで構成されており、9つの基本的なカテゴリにまたがっている。 モデルは、研究論文と、1つ以上のマスキングされた機能を含むコードリポジトリと、これらの機能を実装するための命令を備える。 我々は、標準プロンプトおよびLLMエージェント設定において、最先端のLLMを用いて広範な実験を行い、単体テストの精度を評価し、LLMによるコード正当性の評価を行う。 実験結果から、最も先進的なモデルでさえも科学的推論やコード合成において永続的な限界を示しており、LLMエージェントが科学的研究を自律的に再現する能力において重要なギャップを浮き彫りにしていることが明らかとなった。

関連論文リスト

• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [24.090719826360342]
  我々は、コード生成シナリオ内でタスク指向の命令に従うために、LLM(Large Language Models)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。 我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
  論文  参考訳（メタデータ） (2025-02-26T14:19:49Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。