論文の概要: Towards a Benchmark for Fire Safety Code Interpretation in the Hong Kong AEC Industry
- arxiv url: http://arxiv.org/abs/2610.16127v1
- Date: Mon, 12 Oct 2026 03:45:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.299785
- Title: Towards a Benchmark for Fire Safety Code Interpretation in the Hong Kong AEC Industry
- Title（参考訳）: 香港AEC産業における火災安全コード解釈基準の策定に向けて
- Abstract要約: 大規模言語モデル(LLM)は、アーキテクチャ、エンジニアリング、構築ドメインでますます研究されている。
本研究では,香港の火災安全基準におけるLLMの性能を評価する。
- 参考スコア（独自算出の注目度）: 3.5791420909920326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly explored in the Architecture, Engineering, and Construction (AEC) domain, yet their reliability in regulatory compliance remains uncertain. In this study, we evaluate the performance of LLMs on Hong Kong fire safety codes. In collaboration with domain experts, we create a localized benchmark dataset comprising both multiple-choice questions (MCQs) and open-ended questions (OEQs) to evaluate 12 widely used proprietary and open-source models. Our findings show that top-performing proprietary models achieve 80-90% accuracy on MCQs, whereas open-source models generally lag behind. However, on open-ended evaluation, expert human assessments reveal an accuracy range of only 50-70%, demonstrating that LLMs still have substantial room for improvement in specialized compliance tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、アーキテクチャ、エンジニアリング、建設(AEC)ドメインでますます研究されているが、規制遵守の信頼性は依然として不確実である。
本研究では,香港の火災安全基準におけるLLMの性能を評価する。
ドメインエキスパートと共同で、MCQ(Multiple-choice Question)とOEQ(Open-ended Question)の両方からなるローカライズされたベンチマークデータセットを作成し、広く使用されている12のプロプライエタリおよびオープンソースモデルを評価する。
以上の結果から,MCQでは上位のプロプライエタリモデルが80～90%の精度で達成されているのに対し,オープンソースモデルは一般的に遅れていることがわかった。
しかしながら、オープンエンド評価では、専門家による評価では50～70%の精度の範囲しか示されておらず、LSMには特別なコンプライアンスタスクを改善するための十分な余地があることが示されている。
関連論文リスト
- WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management [4.418914815278852]
大規模言語モデル (LLM) は技術アシスタントとしてますます使われているが, ソリッド廃棄物管理 (SWM) の能力は評価が難しいままである。
WuYuEvalは、基礎知識、ドメイン推論、専門家による意思決定にまたがるSWMのLLMを評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-07-24T09:23:16Z) - An Expert-grounded benchmark of General Purpose LLMs in LCA [1.9645069537947935]
ライフサイクルアセスメント(LCA)を支援するツールとして,大規模言語モデル (LLM) が研究されている。
この研究は、LCAにおけるLSMのエキスパートによる最初のベンチマークを提供する。
論文 参考訳（メタデータ） (2025-10-22T15:56:54Z) - ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge [40.49917730563565]
ESGeniusは、環境、社会、ガバナンス(ESG)における大規模言語モデル(LLM)の熟練度の評価と向上のための総合的なベンチマークである。
ESGenius-QA (i) ESGenius-QA (i) ESGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-Corpus (i) ESGenius-Corpus (i) ESGenius-Corpusは231の基本的なフレームワーク、標準、レポート、レコメンデーションドキュメントを、7つの権威あるソースから収集した。
論文 参考訳（メタデータ） (2025-06-02T13:19:09Z) - General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。
本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。
私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
論文 参考訳（メタデータ） (2025-05-20T17:41:33Z) - MME-Industry: A Cross-Industry Multimodal Evaluation Benchmark [20.642661835794975]
産業環境におけるMLLMの評価に特化して設計された新しいベンチマークであるMME-Industryを紹介する。
ベンチマークは21の異なるドメインを含み、1ドメインにつき50の質問と回答のペアが1050である。
ベンチマークの中国語版と英語版の両方を提供し、これらの言語間でMLLMの能力の比較分析を可能にする。
論文 参考訳（メタデータ） (2025-01-28T03:56:17Z) - OpenEval: Benchmarking Chinese LLMs across Capability, Alignment and Safety [37.07970624135514]
OpenEvalは、能力、アライメント、安全性にわたって中国のLLMをベンチマークする評価テストベッドである。
機能評価には,NLPタスク,ディシプリナリーナレッジ,コモンセンス推論,数学的推論という4つのサブディメンジョンから中国語LLMを評価するための12のベンチマークデータセットを含む。
アライメントアライメントアセスメントのために、OpenEvalには、中国のLLMが出力するバイアス、攻撃性、不正性を調べる7つのデータセットが含まれている。
論文 参考訳（メタデータ） (2024-03-18T23:21:37Z) - Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
本稿では,Flamesという値アライメントベンチマークを提案する。
一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。
以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
論文 参考訳（メタデータ） (2023-11-12T17:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。