Fugu-MT 論文翻訳(概要): MineCEraft: Evaluating Language Models as Construction Engineers in the World of Minecraft

論文の概要: MineCEraft: Evaluating Language Models as Construction Engineers in the World of Minecraft

arxiv url: http://arxiv.org/abs/2608.28884v1
Date: Fri, 28 Aug 2026 21:38:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.775846
Title: MineCEraft: Evaluating Language Models as Construction Engineers in the World of Minecraft
Title（参考訳）: MineCEraft:Minecraftの世界における建設技術者としての言語モデルの評価
Abstract要約: MineCEraft (mine-seeee-raft) は、MinecraftにおけるLLMの信頼性と限界を評価するために設計されたオープンソースのベンチマークである。
参考スコア（独自算出の注目度）: 3.8048590991576106
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce MineCEraft (Minecraft Construction Engineering Benchmark, pronounced mine-see-ee-raft), an easy-to-use, open-source benchmark designed to systematically evaluate the reliability and limitations of LLMs for construction tasks in Minecraft. The MineCEraft benchmark comprises 723 domain-expert hand-crafted natural-language instructions with programmatically verifiable evaluation, spanning 17 distinct task categories, providing a safe and controllable experimental environment for assessing LLMs' ability to perform realistic construction engineering tasks. With this benchmark, we conduct an in-depth evaluation of state-of-the-art LLMs and perform a detailed error analysis, revealing key failure modes and practical challenges in applying LLMs to construction engineering tasks.
Abstract（参考訳）: 我々は,MineCEraft (Mine-see-ee-raft) を紹介した。MineCEraft(Mine-see-ee-raft)は,Minecraftにおける建設作業におけるLLMの信頼性と限界を体系的に評価するオープンソースベンチマークである。 MineCEraftベンチマークは、723のドメインエキスパートによる手作り自然言語命令をプログラム的に検証し、17の異なるタスクカテゴリにまたがり、LLMが現実的な建設工学タスクを実行する能力を評価するための安全かつ制御可能な実験環境を提供する。本ベンチマークでは,現状のLLMを詳細に評価し,詳細なエラー解析を行い,重要な故障モードとLLMを建設工学的タスクに適用する実践的課題を明らかにする。

関連論文リスト

LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks [58.3639630490749]
実世界のアシスタントタスク上でLLMエージェントを評価するベンチマークであるLiveClawBenchを紹介する。様々な実Clawの使用事例の分析に基づいて、三重軸複雑度フレームワークを導出する。我々は,実世界のアシスタントタスクをカバーする,明示的な複雑性要素アノテーションを用いたパイロットベンチマークを構築した。
論文参考訳（メタデータ） (2026-03-20T16:08:21Z)
Measuring what Matters: Construct Validity in Large Language Model Benchmarks [103.53142193393931]
大規模言語モデル(LLM)を評価することは、その能力を評価し、デプロイ前に安全性や堅牢性の問題を特定するために重要である。自然言語処理と機械学習における主要なカンファレンスから445のベンチマークを体系的にレビューする。結果の妥当性を損なう現象,課題,評価指標に関連するパターンを見いだす。
論文参考訳（メタデータ） (2025-11-03T17:39:40Z)
MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks [56.34018316319873]
我々は,最新のLLMをロシア語で評価するためのベンチマークであるMERA Codeを提案する。このベンチマークには、8つのプログラミング言語にまたがる11の評価タスクが含まれている。我々はオープンなLLMとフロンティアAPIモデルを評価し、非英語言語における実用的なコーディングタスクの観点からそれらの制限を分析した。
論文参考訳（メタデータ） (2025-07-16T14:31:33Z)
Enterprise Large Language Model Evaluation Benchmark [3.8601502919298016]
大規模言語モデル(LLM)は、AI駆動のツール間の生産性向上を約束している。ブルームの分類を基盤とした14タスクのフレームワークを提案し,企業環境におけるLCM機能の評価を行った。
論文参考訳（メタデータ） (2025-06-25T09:34:25Z)
Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文参考訳（メタデータ） (2025-05-12T14:05:23Z)
Computational Reasoning of Large Language Models [51.629694188014064]
textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
論文参考訳（メタデータ） (2025-04-29T13:52:47Z)
Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
論文参考訳（メタデータ） (2025-03-18T17:51:34Z)
Assessing LLMs for Front-end Software Architecture Knowledge [0.0]
大規模言語モデル(LLM)は、ソフトウェア開発タスクの自動化において大きな可能性を証明している。本研究では,VIPER アーキテクチャ内の構造を理解し,再現し,生成する LLM の機能について検討する。実験の結果、ChatGPT 4 Turbo 2024-04-09 を用いて、LLM は評価や作成といった高次タスクに優れていたが、アーキテクチャの詳細の正確な検索を必要とする低次タスクでは課題に直面していたことが明らかとなった。
論文参考訳（メタデータ） (2025-02-26T19:33:35Z)
A LLM Benchmark based on the Minecraft Builder Dialog Agent Task [5.555936227537389]
本研究では,空間的指向性タスクにおけるLLM能力を評価するのに適したLCMベンチマークにMinecraftビルダータスクを適用することを提案する。このアプローチにより、異なるエージェントの特定の長所や短所を探索し、空間的推論とベクトルベースの数学の挑戦的な領域におけるLLMの能力をテストすることができると信じている。
論文参考訳（メタデータ） (2024-07-17T16:52:23Z)
BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文参考訳（メタデータ） (2024-06-22T15:52:04Z)
ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文参考訳（メタデータ） (2023-11-16T12:03:21Z)
RoCar: A Relationship Network-based Evaluation Method for Large Language Models [20.954826722195847]
大規模言語モデル(LLM)の機能をどのように合理的に評価するかは、まだ解決すべき課題である。本稿では,定義された基本スキーマを用いてタスクグラフをランダムに構築するRoCar法を提案する。テスト対象のLSMが直接評価タスクを学習していないことを保証し,評価手法の公平性を保証することが可能である。
論文参考訳（メタデータ） (2023-07-29T14:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。