論文の概要: TPS-CalcBench: A Benchmark and Diagnostic Evaluation Framework for LLM Analytical Calculation Competence in Hypersonic Thermal Protection System Engineering

• arxiv url: http://arxiv.org/abs/2604.17966v1
• Date: Mon, 20 Apr 2026 08:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.774002
• Title: TPS-CalcBench: A Benchmark and Diagnostic Evaluation Framework for LLM Analytical Calculation Competence in Hypersonic Thermal Protection System Engineering
• Title（参考訳）: TPS-CalcBench:超音速熱保護システム工学におけるLCM解析能力のベンチマークと診断評価フレームワーク
• Authors: Jinglai Zheng, Chuhan Qiao, Haiming Huang,
• Abstract要約: 超音速熱保護システム(TPS)の設計では、不正確な停滞点熱流束や境界層計算が破滅的な設計マージン違反を引き起こす可能性がある。 現在の科学的ベンチマークは抽象数学と基礎物理学のみをテストし、最終回答のみを評価し、工学的推論プロセスを無視し、そのような重大な失敗を検出できない。 TPS-CalcBenchは超音速空力と高温ガス力学における閉形式解析計算のための最初の診断ベンチマークである。
• 参考スコア（独自算出の注目度）: 0.8921166277011348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying LLMs as reasoning assistants in safety-critical aerospace engineering requires stricter evaluation criteria than general scientific benchmarks. In hypersonic thermal protection system (TPS) design, inaccurate stagnation-point heat flux or boundary-layer calculations may cause catastrophic design margin violations. Models with numerically reasonable but physically invalid answers are more dangerous than those declining to respond. Current scientific benchmarks only test abstract math and basic physics, evaluate final answers solely, ignore engineering reasoning processes, and cannot detect such critical failures. We propose TPS-CalcBench, the first diagnostic benchmark for closed-form analytical calculations in hypersonic aerodynamics and high-temperature gas dynamics that experienced TPS engineers conduct without simulations. Our contributions include domain-oriented task taxonomy with 4 difficulty levels and 8 categories from Anderson's textbook, dual-track evaluation measuring result accuracy and reasoning quality via an 8-dimension rubric and calibrated judge with human audit to identify right answer wrong reasoning issues, human-AI data pipeline producing 420 high-confidence core items and 810 noise-controlled pre-gating items from 4560 raw data, noise-sensitivity analysis measuring data quality impacts on model ranking, and three diagnostic intervention methods: DFA-TPS fine-tuning, RAG-EQ retrieval grounding and PA-CoT process-aware prompting. Tests on 13 models from 7 groups show wide performance differences (KPI 12.6-87.9), hidden formula selection defects, data-driven rank changes and effective intervention improvements, establishing a complete diagnose-evaluate-intervene framework for safety-critical engineering LLM deployment assessment.
• Abstract（参考訳）: 安全クリティカルな航空宇宙工学における推論アシスタントとしてのLSMの展開には、一般的な科学ベンチマークよりも厳格な評価基準が必要である。 超音速熱保護システム(TPS)の設計では、不正確な停滞点熱流束や境界層計算が破滅的な設計マージン違反を引き起こす可能性がある。 数値的に妥当だが物理的に無効な答えを持つモデルは、応答を辞退するモデルよりも危険である。 現在の科学ベンチマークは抽象数学と基礎物理学のみをテストし、最終回答のみを評価し、エンジニアリング推論プロセスを無視し、そのような重大な失敗を検出できない。 TPS-CalcBenchは超音速空力および高温ガス力学における閉形式解析計算のための最初の診断ベンチマークである。 我々の貢献は、アンダーソンの教科書からの4つの難易度と8つのカテゴリのドメイン指向タスク分類、結果の精度と推論品質を8次元のルーブリックで評価し、人間の監査による判断による正しい答えの正解を正解する判断基準、4560の生データから420個の高信頼度コア項目と810個のノイズ制御予報項目を生成するヒューマンAIデータパイプライン、DFA-TPSの微調整、RAG-EQ検索グラウンド、PA-CoTプロセス認識プロンプトの3つの診断方法である。 7つのグループの13モデルの試験では、大きな性能差(KPI 12.6-87.9)、隠れた公式の選択欠陥、データ駆動のランク変更、効果的な介入の改善、安全クリティカルエンジニアリングのLLMデプロイメントアセスメントのための完全な診断・評価インタベインフレームワークの確立が示されている。

関連論文リスト

• MedPRMBench: A Fine-grained Benchmark for Process Reward Models in Medical Reasoning [7.000170880015254]
  医療領域における最初のプロセスレベルの報酬モデルベンチマークであるMedPRMBenchを提案する。 臨床共鳴ブループリント(CRB)に基づく3相パイプラインで構築される。 ベンチマークには6500の質問と13,000の推論チェーン、113,910のステップレベルラベル、トレーニング用の6,879の質問が含まれている。
  論文  参考訳（メタデータ） (2026-04-19T06:44:07Z)
• PHMForge: A Scenario-Driven Agentic Benchmark for Industrial Asset Lifecycle Maintenance [2.532228247215641]
  PHMForge は Prognostics and Health Management (PHM) タスクの大規模言語モデル (LLM) エージェントを評価するために特別に設計されたベンチマークである。 当社のベンチマークでは、7つの産業資産クラス(ファンエンジン、ベアリング、電動モーター、ギアボックス、エアエンジン)にまたがる75のシナリオを5つのコアタスクカテゴリでカバーしています。 我々は,2つのMPPサーバに65の専門ツールを構築し,タスク・コメンシュレート・メトリクスを用いた実行ベースの評価器を実装した。
  論文  参考訳（メタデータ） (2026-04-02T02:09:27Z)
• Benchmarking Scientific Machine Learning Models for Air Quality Data [0.0]
  本研究は、ガイドラインと提案された物理誘導型最良のモデルを可能にする、説明可能で包括的なベンチマークを示す。 2022年から2024年にかけて、米国環境保護庁(EPA)による大気質データの日次観測を用いて、PM2.5とO3の都市レベルの時系列をキュレートする。 最適モデルのベンチマークには、線形回帰(LR)、SARIMAX、多層パーセプトロン(MLP)、LSTMネットワークが評価されている。
  論文  参考訳（メタデータ） (2026-03-22T03:31:24Z)
• PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
  本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。 現在の検証器は、しばしば導出欠陥を検出するのに失敗する。 本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-12T04:45:01Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning [57.868248683256574]
  PRISM-Physicsはプロセスレベルの評価フレームワークであり、複雑な物理推論問題のベンチマークである。 解は公式の有向非巡回グラフ(DAG)として表される。 その結果,評価フレームワークは人的専門家のスコアと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-10-03T17:09:03Z)
• AI-Powered Dynamic Fault Detection and Performance Assessment in Photovoltaic Systems [44.99833362998488]
  太陽光発電(PV)の断続的な性質により、電力損失は10-70%、エネルギー生産量は25%減少する。 現在の故障検出戦略はコストが高く、複雑なデータ信号プロファイルのために信頼性の低い結果が得られることが多い。 本研究では,PythonのPVlibライブラリを用いた動的損失量子化アルゴリズムを取り入れた計算モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-19T23:52:06Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Practical Recommendations for the Design of Automatic Fault Detection Algorithms Based on Experiments with Field Monitoring Data [0.0]
  自動故障検出(AFD)は太陽光発電システムポートフォリオの運用と保守を最適化するための重要な技術である。 本研究では,ドイツに設置した80基の屋上型PVシステムにおいて58ヶ月以上にわたって収集されたモニタリングデータを用いて,実運転条件下で一連のAFDアルゴリズムを検証した。 その結果、この種のAFDアルゴリズムは、90%以上の特異性を持つエネルギー損失の82.8%を検出できる可能性が示された。
  論文  参考訳（メタデータ） (2022-03-02T13:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。