論文の概要: Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance

• arxiv url: http://arxiv.org/abs/2608.21036v1
• Date: Fri, 21 Aug 2026 12:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.527095
• Title: Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
• Title（参考訳）: 国際海洋危険物コードコンプライアンスによる大規模言語モデルの性能評価
• Abstract要約: 本稿では,IMDG修正42-24の知識を評価するための最初のベンチマークであるDGEvalを紹介する。 複数の選択、オープンエンド、DGLルックアップ、規制識別タスクにまたがる1,678の質問で構成されている。 我々は、複数の思考構成の6つのプロバイダから13のモデルを評価する。
• 参考スコア（独自算出の注目度）: 47.37396434232136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The transport of dangerous goods by sea is a high-consequence activity governed by the International Maritime Dangerous Goods (IMDG) Code, a complex regulatory framework where errors in classification, packaging, stowage, or segregation can result in fire, explosion, toxic release, or loss of life or vessel. Correct compliance requires accurately interpreting hundreds of pages of interacting provisions, updated on a two-year amendment cycle. Practitioners increasingly use Large Language Models (LLMs) as decision-support tools, yet no systematic evaluation exists of whether they can reliably interpret IMDG requirements for safety-critical use. This paper introduces DGEval, the first benchmark for evaluating LLM knowledge of IMDG Amendment 42-24. Built from expert-written questions on the NCB Hazcheck e-learning platform and structured lookups from the Dangerous Goods List (DGL), it comprises 1,678 questions across multiple-choice, open-ended, DGL lookup, and regulatory identification tasks. We evaluate 13 models from six providers across multiple thinking configurations, including one maritime domain-specific fine-tuned model, and test the effect of web search. Although the best-performing model exceeds the human practitioner baseline on multiple-choice questions, all models are weakest in the operationally safety-critical areas of stowage, segregation, and regulatory recall. These results indicate that LLMs may support compliance tasks, particularly structured DGL lookups with web search, but unreliability in operational areas and regulatory-text recall means human oversight and authoritative source verification remain necessary before deployment in any safety-critical context. DGEval is designed as a safety assurance instrument to be applied continuously as models evolve, not as a settled characterisation of current capability.
• Abstract（参考訳）: 海からの危険な商品の輸送は、国際海難危険財法(IMDG)によって管理される、複雑な規制枠組みであり、分類、包装、汚物、隔離の誤りは、火災、爆発、毒性の放出、または生命または血管の喪失を引き起こす。 正しいコンプライアンスには、2年間の修正サイクルで更新された数百ページのインタラクション規定を正確に解釈する必要がある。 専門家は大規模言語モデル(LLM)を意思決定支援ツールとして多用しているが、安全上重要な使用のためにIMDGの要件を確実に解釈できるかどうかについては体系的な評価は存在しない。 本稿では,IMDG 修正 42-24 の LLM 知識を評価する最初のベンチマークである DGEval を紹介する。 NCB Hazcheckのeラーニングプラットフォームに関する専門家による質問と、Dangerous Goods List (DGL)の構造化されたルックアップから構築されたこの質問は、複数の選択、オープンエンド、DGLルックアップ、規制の特定タスクにまたがる1,678の質問で構成されている。 海上ドメイン固有の細調整モデルを含む,複数の思考構成の6つのプロバイダから13のモデルを評価し,Web検索の効果を検証した。 最高のパフォーマンスモデルは、複数の質問に対する人間の実践者ベースラインを超えるが、すべてのモデルは、操作上安全クリティカルなストージ、分離、規制リコールの領域において最も弱い。 これらの結果から, LLMはコンプライアンスタスク, 特にWeb検索による構造化DGLルックアップをサポートする可能性があるが, 運用領域の信頼性が低いこと, 規制テキストのリコールにより, 安全クリティカルな状況に展開する前には, 人間の監視と信頼できる情報源の検証が必要であることが示唆された。 DGEvalは、モデルの発展に伴って継続的に適用される安全保証機器として設計されており、現在の能力の定型化ではない。

関連論文リスト

• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Evaluating Implicit Regulatory Compliance in LLM Tool Invocation via Logic-Guided Synthesis [18.51135049856393]
  我々は,非構造化規則を線形時間論理託に変換するフレームワークであるLogiSafetyGenを導入し,論理誘導ファジングを用いて,有効かつ安全クリティカルなトレースを合成する。 このフレームワーク上に構築したLogiSafetyBenchは,LLMが機能目標と遅延コンプライアンスルールの両方を満たすPythonプログラムを生成するために必要な,240の人間認証タスクからなるベンチマークである。 13種類のSOTA (State-of-the-art) LLMの評価により、より優れた機能的正当性を達成したにもかかわらず、安全よりもタスク完了を優先し、非準拠な振る舞いをもたらすことが判明した。
  論文  参考訳（メタデータ） (2026-01-13T03:55:18Z)
• Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
  論文  参考訳（メタデータ） (2025-12-21T13:46:36Z)
• Evaluating Retrieval Augmented Generative Models for Document Queries in Transportation Safety [0.7373617024876725]
  本研究では、ChatGPT、GoogleのVertex AI、ORNL Retrieval Augmented Generation augmented LLaMA 2、LLaMAの3つの微調整生成モデルの性能を評価する。 経路計画と許容要件に関連する現実的なクエリを100個開発した。 その結果、RAGで強化されたLLaMAモデルはVertex AIとChatGPTを大きく上回っており、より詳細で一般的に正確な情報を提供していることがわかった。
  論文  参考訳（メタデータ） (2025-04-09T16:37:03Z)
• Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning [39.48925539103229]
  微調整された大きな言語モデル(LLM)は、その安全性のアライメントを必然的に低下させる。 この現象により、モデルは不適切な応答を与えるのにより敏感になる。 我々の研究は、微調整中に安全アライメントを維持する複雑さを強調している。
  論文  参考訳（メタデータ） (2025-02-03T07:09:09Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models [39.97454990633856]
  本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
  論文  参考訳（メタデータ） (2024-06-11T13:41:33Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。