論文の概要: AeroCopilotBench: A Two-Tier Benchmark for Evaluating LLM Agents as Aviation Copilots in an Interactive Virtual Cockpit Environment
- arxiv url: http://arxiv.org/abs/2608.16349v1
- Date: Mon, 17 Aug 2026 09:53:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.628714
- Title: AeroCopilotBench: A Two-Tier Benchmark for Evaluating LLM Agents as Aviation Copilots in an Interactive Virtual Cockpit Environment
- Title（参考訳）: AeroCopilotBench: 対話型仮想コックピット環境におけるLLMエージェントを航空パイロットとして評価するための2層ベンチマーク
- Abstract要約: 大型言語モデル(LLM)エージェントは、複雑な決定とタスク実行でフライトクルーを支援することができる。
静的知識を中心とした既存の航空評価は、手続き実行と安全コンプライアンスの体系的なテストをサポートしない。
本稿では,対話型バーチャルコックピットテスト環境と2層航空エージェント評価ベンチマークであるAeroCopilotBenchについて述べる。
- 参考スコア（独自算出の注目度）: 9.576288529585241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents may assist flight crews with complex decisions and task execution, but existing aviation evaluations centered on static knowledge do not support systematic testing of procedural execution and safety compliance in interactive environments. This paper presents the AeroCopilot Operational Environment (ACOE), a reproducible interactive virtual-cockpit test environment, and AeroCopilotBench, a two-tier aviation agent evaluation benchmark. Tier-1 evaluates aviation knowledge using 1,200 multiple-choice questions, while Tier-2 comprises 73 emergency and abnormal tasks derived from the manufacturers' Pilot's Operating Handbooks (POHs) and instantiated in ACOE. ACOE converts natural-language procedures into executable state transitions, final-state goal conditions, and hard safety constraints, enabling models to interpret cockpit state, diagnose faults, and operate aircraft systems through standardized tool interfaces. We establish a safety-gated evaluation framework in which a trajectory succeeds only when all task goals are achieved without violating any hard safety constraint, while safe goal progress and trajectory safety are measured separately. Across 12 models, the highest Tier-2 success rate is 72.6%, while static knowledge performance does not consistently translate into procedural execution. Analysis of 451 failed episodes from 3 representative models identifies recurring failures in procedural completeness, use of state feedback, and long-horizon execution management. These findings motivate state-aware agent orchestration, joint assessment of task completion and trajectory safety, and repeated regression testing. ACOE and AeroCopilotBench provide a reproducible foundation for testing knowledge application, interactive execution, and operational safety in aviation agents.
- Abstract（参考訳）: 大型言語モデル(LLM)エージェントは、複雑な決定とタスク実行をフライトクルーに支援することができるが、静的知識を中心とした既存の航空評価は、対話型環境での手続き実行と安全コンプライアンスの体系的なテストをサポートしない。
本稿では,再現性のある対話型バーチャルコックピットテスト環境であるAeroCopilot Operational Environment(ACOE)と,二層式航空エージェント評価ベンチマークであるAeroCopilotBenchを提案する。
Tier-1は1200の多重選択質問を用いて航空知識を評価し、Tier-2は製造業者のパイロットの操作ハンドブック(POH)から派生した73の緊急および異常なタスクで構成され、ACOEでインスタンス化される。
ACOEは自然言語処理を実行可能状態遷移、最終状態の目標条件、ハードセーフティ制約に変換し、コックピット状態を解釈し、故障を診断し、標準化されたツールインターフェースを通じて航空機システムを操作する。
安全目標の進行度と軌道安全度を別々に測定しながら、厳しい安全制約に違反することなく、全てのタスク目標を達成する場合にのみ軌道が成功する安全目標評価フレームワークを確立する。
12モデル中、Tier-2の最高成功率は72.6%であり、静的知識性能は一貫して手続き実行に変換されない。
3つの代表モデルから得られた451回の失敗エピソードの分析では、手続き的完全性、状態フィードバックの使用、長期実行管理の繰り返し失敗が確認されている。
これらの知見は, 状態認識エージェントのオーケストレーション, タスク完了と軌道安全の同時評価, 反復回帰試験を動機とする。
ACOEとAeroCopilotBenchは、航空エージェントの知識応用、インタラクティブな実行、運用安全をテストする再現可能な基盤を提供する。
関連論文リスト
- Beyond Semantic Accuracy: Consequence-Aware Evaluation for Safety-Critical Language Understanding [6.5835891807589775]
操縦士と操縦士の通信がほぼゼロに近いエラー耐性を必要とする航空交通管制の問題点について検討する。
結果認識評価を用いて,セマンティックスコアが動作の信頼性を損なうかどうかを判定する。
論文 参考訳（メタデータ） (2026-08-25T14:39:02Z) - Automated Trajectory Evaluation for Mobile Agents via Step-Level Consequence Reasoning and Aggregation [23.628754736526975]
本稿では,モバイルエージェントの自動評価のための新しい2段階VLM-as-judgeフレームワークであるCRATEを紹介する。
さらに、運用安全評価のためにCRATEをCRATE-Sに拡張する。
CRATEはAndroidWorldで0.833のF1スコアを獲得し、CRATE-SはMobileRiskで0.697のF1スコアに達した。
論文 参考訳（メタデータ） (2026-08-21T07:16:36Z) - SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents [29.05559307748216]
SFERELBENCHは,507個の実測値を持つ空間相関型安全ベンチマークである。
SAFERELBENCHを用いて、7つのオープンソースおよびクローズドソースなVLM駆動型エンボディエージェントの評価を行い、タスク成功とプロセスレベルの安全コンプライアンスの間に大きなギャップを見出した。
論文 参考訳（メタデータ） (2026-07-16T03:59:44Z) - Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification [32.337075755765056]
Veraは、非決定論的エージェントのためのソフトウェアエンジニアリングテストの原則をインスタンス化するエンドツーエンドの自動安全テストフレームワークである。
124のリスクカテゴリにまたがる1600の実行可能な安全ケースで構成されたVeraをリリースします。
これらの結果から,高度に進化するエージェントシステムの厳密かつ保守可能な安全性評価には,モジュール型で実行可能なテストインフラストラクチャが不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-07-02T07:08:26Z) - Connected Dependability Cage: Run-Time Function and Anomaly Monitoring for the Development and Operation of Safe Automated Vehicles [4.255452662944005]
Connected Dependability Cageは、AI対応の知覚システムにおける階層的なフェールオペレーショナル動作を可能にする。
システムは優雅な劣化をサポートし、究極的には最小リスクの操作戦略への移行を可能にする。
論文 参考訳（メタデータ） (2026-04-30T11:20:39Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - HUGE-Bench: A Benchmark for High-Level UAV Vision-Language-Action Tasks [73.62053624331227]
Huge-Benchは高レベルUAVビジョンランゲージ・アクションのベンチマークである。
4つの現実世界のデジタルツインシーン、8つのハイレベルタスク、2.56mの軌跡からなる。
プロセスの忠実度、終端精度、安全性を評価するために、プロセス指向および衝突認識メトリクスを導入する。
論文 参考訳（メタデータ） (2026-03-20T10:08:42Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳（メタデータ） (2025-06-17T16:37:35Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z) - Safety-Driven Deep Reinforcement Learning Framework for Cobots: A Sim2Real Approach [1.0488553716155147]
本研究では,深部強化学習(DRL)におけるロボットシミュレーションに安全性制約を取り入れた新しい手法を提案する。
このフレームワークは、速度制約のような安全要件の特定の部分をDRLモデルに直接統合する。
提案手法は,テストシナリオの平均成功率を16.5%向上させる。
論文 参考訳（メタデータ） (2024-07-02T12:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。