論文の概要: PLE: Physical-Engineering's Last Exam
- arxiv url: http://arxiv.org/abs/2610.30537v1
- Date: Wed, 21 Oct 2026 23:45:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.176276
- Title: PLE: Physical-Engineering's Last Exam
- Title（参考訳）: LE:物理工学の最後のエグザム
- Abstract要約: 最前線の言語モデルは、一般的な知識ベンチマークで90%以上を獲得しました。
既存のベンチマークでは、プロフェッショナルな物理エンジニアの実際の、経済的に価値のある仕事を実行できるかどうかをテストしていない。
PLEは、電気工学、土木工学、構造工学、機械工学からなる専門的な物理工学における85の長期的エージェント的タスクのベンチマークである。
- 参考スコア（独自算出の注目度）: 45.24470767053805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier language models now score above 90% on popular knowledge benchmarks and are increasingly deployed as agents that carry out multi-hour professional work. Yet no existing benchmark tests whether they can perform the real-world, economically valuable work of a professional physical engineer, such as modelling physics and legal code requirements across a multi-format project corpus, optimising material and installation costs, and issuing 2D/3D engineering design packages that a licensed reviewer would sign off on. Existing engineering benchmarks focus on textbook question answering, isolated tool calls or self-contained toy design problems. As a result, most of these benchmarks are already saturated by leading agents and solving them is far away from delivering real engineering design. We introduce PLE, a benchmark of 85 long-horizon, agentic tasks in professional physical engineering consisting of electrical, civil, structural and mechanical engineering, where solving a task means completing a realistic, billable engineering deliverable. PLE combines two complementary curation paths. Expert-Authored tasks are created end to end by practising engineers from a professional data provider's expert pool. Co-Authored tasks start from problem statements written by practising engineers; an adversarial Creator-Solver agent pipeline constructs each task's realistic project environment, executable grader and reference deliverables before sending them to expert engineers for validation and difficulty intensification. We evaluate a variety of frontier LLMs under seven publicly available agent harnesses. Even the strongest configuration reaches a mean score of only 50.6%, while spending 27M tokens and 63 minutes per task on average, demonstrating the substantial gap between current agents and autonomous physical engineering design.
- Abstract（参考訳）: 最前線の言語モデルは、一般的な知識ベンチマークで90%以上を獲得し、多時間プロの仕事を行うエージェントとしてますます多くデプロイされている。
物理と法的なコード要件のモデリング、材料と設置コストの最適化、ライセンスされたレビュアーが署名する2D/3Dエンジニアリングデザインパッケージの発行などだ。
既存のエンジニアリングベンチマークでは、教科書の質問応答、独立したツールコール、あるいは自己完結型玩具デザインの問題に焦点を当てている。
その結果、これらのベンチマークのほとんどは、既にリードエージェントによって飽和しており、それを解決することは、実際のエンジニアリング設計を提供するには程遠い。
我々は、電気、土木、構造、機械工学からなる専門的な物理工学におけるエージェント的タスクである85の長期水平のベンチマークであるPLEを紹介します。
PLEは2つの補完的なキュレーションパスを組み合わせる。
専門家認証タスクは、専門家データプロバイダのエキスパートプールからエンジニアを実践することで、エンドツーエンドで作成される。
対向的なCreator-Solverエージェントパイプラインは、各タスクの現実的なプロジェクト環境、実行段階のグレーダ、参照可能な成果物を構築し、検証と強化の難しさのために専門家エンジニアに送信する。
我々は,7つの公開エージェントハーネスの下で,様々なフロンティアLSMを評価した。
最も強い構成でさえ平均スコアは50.6%に達し、平均で2700万のトークンと63分間のタスクに費やし、現在のエージェントと自律的な物理工学設計の間にかなりのギャップがあることを証明している。
関連論文リスト
- WorkGenesis: Building the Worlds That Teach Agents to Work [49.074190775312246]
実世界のアーティファクトから実行可能な作業を構築するフレームワークであるWorkGenesisを紹介する。
Fx-Work-35Bは、単純な教師付き微調整(SFT)で訓練されたわずか20Kの作業で、全ての同等スケールのベースラインの中で最高点を達成している。
論文 参考訳（メタデータ） (2026-09-30T09:00:34Z) - EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments? [22.883681292937954]
EngiWorldは完全なデザインループを中心に構築された最初のベンチマークである。
1,301のタスクは、6つのエンジニアリングドメイン(CAD, CAE, CAM, BIM, EDA, 3Dビジュアライゼーション)と26のプロフェッショナルソフトウェアプラットフォームにまたがる。
最も強力なモデルは、わずか44.3のEngiScoreであり、マルチソフトウェアの試みの3.6%しか成功していない。
論文 参考訳（メタデータ） (2026-09-29T14:32:35Z) - Closed-loop AI achieves certifiable engineering design [4.979561115632364]
AI Engineerは、大規模言語モデル(LLM)をクローズドループで決定論的エンジニアリングバックエンドに結合するエージェントフレームワークである。
それぞれの候補(容量、鋼鉄強度、ユニットコスト、建設性、疲労寿命)を、11の実際の浮遊風プロジェクトで調整された片方向線形関数を用いて評価する。
認定された設計は、人間に最適化されたTuQiangベースラインよりも優れており、すべてのAIP基準を満たしながら、鋼鉄の質量と単位資本コストを8.1%削減している。
論文 参考訳（メタデータ） (2026-08-22T14:24:58Z) - StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows [63.57092302641323]
textbfStartupBenchは、市場価値の高いAIスタートアップ製品に根ざしたE2Eエージェントベンチマークである。
我々は、AIが現実的な需要を確立した現実的なタスクを特定するために、製品やユーザとともに、AI製品の採用を実証して研究する。
以上の結果から,現在の汎用エージェントの信頼性を超越した,市場価値の高いエージェントが多数存在することが明らかとなった。
論文 参考訳（メタデータ） (2026-08-18T14:01:32Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - Augment Engineering: A Methodology for Multi-Tool AI Orchestration Across Professional Domains [0.0]
拡張エンジニアリング(Augment Engineering)は、異なる専門分野にまたがる複数の目的に構築されたAIツールのオーケストレーションの分野である。
5ヶ月のフォーマティブケーススタディでは、プロのドメイン7つにまたがってプロのエンジニアリングを適用する1人の実践者が文書化されている。
論文 参考訳（メタデータ） (2026-05-22T22:44:18Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - Engineering.ai: A Platform for Teams of AI Engineers in Computational Design [8.217119500224284]
計算設計におけるAIエンジニアのチームのためのプラットフォームであるEngineering.aiを紹介します。
このフレームワークは階層的なマルチエージェントアーキテクチャを採用しており、チーフエンジニアが特殊エージェントをコーディネートする。
このシステムはFreeCAD、Gmsh、OpenFOAM、CalculiX、BPM音響解析を統合し、並列多分野シミュレーションを可能にする。
論文 参考訳（メタデータ） (2025-10-31T08:00:48Z) - Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。
このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。
以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文 参考訳（メタデータ） (2025-05-12T14:05:23Z) - DesignQA: A Multimodal Benchmark for Evaluating Large Language Models' Understanding of Engineering Documentation [3.2169312784098705]
本研究は,多モーダル大規模言語モデル(MLLM)の熟練度を評価するための新しいベンチマークであるDesignQAを紹介する。
DesignQAは、フォーミュラSAE学生コンペティションから派生したマルチモーダルデータ、テキストデザイン要件、CADイメージ、エンジニアリング図面を独自に組み合わせている。
論文 参考訳（メタデータ） (2024-04-11T16:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。