Fugu-MT 論文翻訳(概要): Evaluating LLMs Code Reasoning Under Real-World Context

論文の概要: Evaluating LLMs Code Reasoning Under Real-World Context

arxiv url: http://arxiv.org/abs/2604.12881v1
Date: Tue, 14 Apr 2026 15:32:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-15 19:11:32.536849
Title: Evaluating LLMs Code Reasoning Under Real-World Context
Title（参考訳）: 実世界の文脈下でのLLMコード推論の評価
Authors: Changshu Liu,
Abstract要約: R2Eval1は、広く使用されている10のPythonプロジェクトから引き出された135のコード推論問題のベンチマークである。以前の作業とは異なり、R2Evalは複合型とカスタム型をシリアライズし、現実のデータ複雑性を保存する。
参考スコア（独自算出の注目度）: 0.7953056533753116
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Code reasoning tasks are increasingly crucial to evaluating large language models (LLMs). Yet most existing benchmarks rely on simplistic, LLM-generated snippets or human-written solutions to code challenges and often restrict inputs and outputs to primitive types, failing to reflect the structure and dependencies of real-world projects. These simplifications limit their ability to measure practical generalizability. We present R2Eval1, a benchmark of 135 code reasoning problems drawn from ten widely used Python projects. Unlike prior work, R2Eval serializes compound and custom types, preserving real-world data complexity and enabling a more realistic assessment of LLMs.
Abstract（参考訳）: コード推論タスクは、大規模言語モデル(LLM)を評価する上でますます重要になっている。しかし、既存のベンチマークのほとんどは、単純でLCM生成のスニペットや、コード課題に対する人間によるソリューションに依存しており、インプットとアウトプットをプリミティブタイプに制限することが多く、実際のプロジェクトの構造や依存関係を反映しない。これらの単純化は、実用的一般化可能性を測定する能力を制限する。 R2Eval1は、広く使用されている10のPythonプロジェクトから引き出された135のコード推論問題のベンチマークである。以前の作業とは異なり、R2Evalは複合型とカスタム型をシリアライズし、実際のデータの複雑さを保ち、LLMをより現実的な評価を可能にする。

関連論文リスト

Evaluating Code Reasoning Abilities of Large Language Models Under Real-World Settings [5.30570508258782]
RE2-Benchは、成熟した現実世界のプロジェクトから引き出された195を含む1,101の推論問題のベンチマークである。 RE2-Benchを用いた2つの広く使われているコード推論タスクに対する6つの汎用的および推論指向のLCMの包括的な評価は、簡単な問題から難しい問題への大幅なパフォーマンス低下を明らかにしている。
論文参考訳（メタデータ） (2025-12-16T21:12:53Z)
Computational Thinking Reasoning in Large Language Models [69.28428524878885]
計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
論文参考訳（メタデータ） (2025-06-03T09:11:15Z)
Tests as Prompt: A Test-Driven-Development Benchmark for LLM Code Generation [1.7268889851975326]
私たちは、テスト駆動開発(TDD)タスクにおいて、大規模言語モデル(LLM)を評価するための新しいベンチマークであるWebApp1Kを紹介します。自然言語のプロンプトに依存する従来のアプローチとは異なり、我々のベンチマークでは、LLMがテストケースから直接機能を解釈し実装する能力を強調しています。
論文参考訳（メタデータ） (2025-05-13T23:47:12Z)
Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文参考訳（メタデータ） (2025-05-12T14:05:23Z)
RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
論文参考訳（メタデータ） (2024-12-12T06:08:46Z)
The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-Based Code Generation [33.77058239791512]
本稿では,Large Language Models (LLMs) を用いたサンプルベースコード生成の総合的研究について述べる。我々は、反復評価フレームワークを採用し、サンプルベースのコード生成の目的を2つの連続的なサブオブジェクトとして定式化する。我々は、172の多様な目標関数のベンチマークを用いて、最先端のLLMを6つ評価した。
論文参考訳（メタデータ） (2024-11-11T08:05:37Z)
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文参考訳（メタデータ） (2024-07-08T17:27:17Z)
CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
論文参考訳（メタデータ） (2024-02-15T02:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。