論文の概要: Safety-Oriented Evaluation of Language Understanding Systems for Air Traffic Control

• arxiv url: http://arxiv.org/abs/2605.11769v1
• Date: Tue, 12 May 2026 08:39:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.720681
• Title: Safety-Oriented Evaluation of Language Understanding Systems for Air Traffic Control
• Title（参考訳）: 航空交通制御のための言語理解システムの安全指向評価
• Authors: Yujing Chang, Yash Guleria, Duc-Thinh Pham, Nhut-Huy Pham, Ningli Wang, Vu N. Duong, Sameer Alam,
• Abstract要約: 本稿では, 航空交通制御(ATC)の運用に適した, 安全性を重視した結果認識評価フレームワークを提案する。 以上の結果から,現在のLCMは合理的な集約精度を達成できるが,運用信頼性は著しく制限されていることが明らかとなった。 これらの知見は、AI支援ATCシステムの責任ある展開において、結果認識評価プロトコルの必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 7.102251210849638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Air Traffic Control (ATC) is a safety-critical domain in which incorrect interpretation of instructions may lead to severe operational consequences. While large language models (LLMs) demonstrate strong general performance, their reliability in operational ATC environments remains unclear. Existing evaluation approaches, largely based on aggregate metrics such as F1 or macro accuracy, treat all errors uniformly and fail to account for the asymmetric consequences of high-risk semantic mistakes (e.g., incorrect runway identifiers or movement constraints). To address this gap, we propose a safety-oriented, consequence-aware evaluation framework tailored to ATC operations. Our results reveal that while current LLMs achieve reasonable aggregate accuracy, their operational reliability is severely limited. Evaluated on clean transcripts, the peak Risk Score reaches only 0.69, with most models scoring below 0.6 despite high macro-F1 performance. Further analysis shows that errors concentrate in high-impact entities despite relatively stable action-type classification, indicating structural grounding deficiencies. These findings highlight the necessity of consequence-aware evaluation protocols for the responsible deployment of AI-assisted ATC systems.
• Abstract（参考訳）: 航空交通制御 (ATC) は、命令の誤った解釈が重大な運用上の結果をもたらす可能性のある、安全クリティカルな領域である。 大規模言語モデル(LLM)は高い汎用性能を示すが、運用上のATC環境における信頼性は未だ不明である。 既存の評価手法は、主にF1やマクロ精度などの集計基準に基づいており、全てのエラーを均一に処理し、リスクの高いセマンティックミス(例えば、不正な滑走路識別子や移動制限)の非対称な結果を考慮することができない。 このギャップに対処するために,ATC操作に適した安全性を重視した結果認識評価フレームワークを提案する。 以上の結果から,現在のLCMは合理的な集約精度を達成できるが,運用信頼性は著しく制限されていることが明らかとなった。 クリーンな書き起こしに基づいて評価すると、リスクスコアのピークは0.69に過ぎず、ほとんどのモデルはマクロF1のパフォーマンスが高いにもかかわらず0.6以下である。 さらに分析したところ、エラーは比較的安定な行動型分類にもかかわらず、高インパクトな実体に集中しており、構造的基底欠陥が示されている。 これらの知見は、AI支援ATCシステムの責任ある展開において、結果認識評価プロトコルの必要性を浮き彫りにしている。

関連論文リスト

• SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models [46.968844120076916]
  実装エージェントベンチマークALFRED上に構築されたSafetyALFREDを紹介し,実際のキッチンハザードの6つのカテゴリを拡張した。 我々は,リスク認識だけでなく,具体的計画によるアクティブなリスク軽減についても,11種類の最先端モデルを評価した。
  論文  参考訳（メタデータ） (2026-04-21T16:27:20Z)
• TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories [20.868825285848196]
  安全ガードレールは、自然言語の応答には適しているが、その有効性は、多段階のツール使用軌跡の中では明らかにされていない。 このギャップに対処するために、中間軌道安全性を評価するために特別に設計された最初の包括的なベンチマークであるStructureSafe-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-04-08T15:46:14Z)
• Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
  プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。 タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
  論文  参考訳（メタデータ） (2026-03-03T15:47:41Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention [2.0838114053126366]
  LLM批判モデルによる積極的な介入は、しばしば信頼性を向上させると仮定されるが、展開時の影響はよく理解されていない。 高いオフライン精度 (AUROC 0.94) を持つバイナリLLM批判者は, にもかかわらず, 高い性能劣化を引き起こす可能性がある。 我々は、50のタスクからなる小さなパイロットを用いて、完全な配備を必要とせず、介入が助けになるか、害を与えるかを見積もる事前デプロイテストを提案する。
  論文  参考訳（メタデータ） (2026-02-03T10:02:50Z)
• Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
  安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。 LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。 本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
  論文  参考訳（メタデータ） (2026-02-02T14:18:48Z)
• Trajectory Guard -- A Lightweight, Sequence-Aware Model for Real-Time Anomaly Detection in Agentic AI [0.0]
  トラジェクトリガードはシームズ・リカレント・オートエンコーダであり、コントラスト学習によるタスク・トラジェクトリアライメントと、再構成によるシーケンシャル・アライメントを共同で学習するハイブリッド・ロス機能を備えている。 32ミリ秒のレイテンシで、当社のアプローチは LLM Judge のベースラインよりも17-27倍高速で動作し、実運用環境におけるリアルタイムの安全性検証を可能にします。
  論文  参考訳（メタデータ） (2026-01-02T00:27:11Z)
• SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。