論文の概要: FLY-EVAL++: An Evidence-Driven Evaluation Protocol for Safety-Constrained Flight Prediction with Large Language Models

• arxiv url: http://arxiv.org/abs/2609.04021v1
• Date: Thu, 03 Sep 2026 16:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.148584
• Title: FLY-EVAL++: An Evidence-Driven Evaluation Protocol for Safety-Constrained Flight Prediction with Large Language Models
• Title（参考訳）: FLY-EVAL++: 大規模言語モデルを用いた安全制約付き飛行予測のためのエビデンス駆動評価プロトコル
• Abstract要約: FLY-EVAL++は,安全クリティカル環境下での大規模言語モデルに対するエビデンス駆動評価プロトコルである。 PilotBench設定を履歴条件および多段階予測タスクで拡張することにより、FLY-EVAL++ for Flight Trajectory and Attitude Prediction (FTAP)をインスタンス化する。 本結果より, 安全クリティカル領域の評価は, 精度中心の報告のみに頼るのではなく, 制約満足度と構造的妥当性を明示的に測定すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 45.90905049052029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models (LLMs) in safety-critical, physics-governed environments requires more than accuracy-based metrics, because predictions that are numerically close to the ground truth can still violate operational constraints, combine fields in physically inconsistent ways, or fail to produce usable structured outputs. Existing evaluation protocols do not measure these failure modes reliably. We propose FLY-EVAL++, an evidence-driven evaluation protocol that combines deterministic verification of protocol compliance, physical feasibility, and safety constraints with fixed rubric-guided aggregation into interpretable multi-dimensional scores. We instantiate FLY-EVAL++ for Flight Trajectory and Attitude Prediction (FTAP) by extending the PilotBench setting with history-conditioned and multi-step prediction tasks. Across 66 LLMs, safety compliance is the most discriminative dimension of model behavior: models with comparable predictive performance differ by more than 28 points in safety score, and we observe recurrent failures including safety violations under physically plausible predictions and instability in multi-step rollouts. These results show that evaluation in safety-critical domains should measure constraint satisfaction and structured validity explicitly rather than rely on accuracy-centric reporting alone.
• Abstract（参考訳）: 大規模言語モデル(LLM)を安全クリティカルで物理学に支配された環境で評価するには、数値的に真実に近い予測が依然として運用上の制約に違反したり、物理的に一貫性のない方法でフィールドを結合したり、使用可能な構造化された出力を生成できなかったりするため、精度に基づくメトリクス以上のものが必要となる。 既存の評価プロトコルは、これらの障害モードを確実に測定しない。 FLY-EVAL++は,プロトコルの適合性,物理的実現可能性,安全性制約の決定論的検証と,解釈可能な多次元スコアへの固定ルーリック誘導アグリゲーションを組み合わせたエビデンス駆動評価プロトコルである。 PilotBench設定を履歴条件および多段階予測タスクで拡張することにより、FLY-EVAL++ for Flight Trajectory and Attitude Prediction (FTAP)をインスタンス化する。 66 LLMにおいて、安全コンプライアンスはモデル行動の最も差別的な次元である: 同等の予測性能を持つモデルは、安全スコアにおいて28ポイント以上異なる。 これらの結果から, 安全クリティカル領域の評価は, 精度中心の報告のみに頼るのではなく, 制約満足度と構造的妥当性を明示的に測定すべきであることが示唆された。

関連論文リスト

• Beyond Semantic Accuracy: Consequence-Aware Evaluation for Safety-Critical Language Understanding [6.5835891807589775]
  操縦士と操縦士の通信がほぼゼロに近いエラー耐性を必要とする航空交通管制の問題点について検討する。 結果認識評価を用いて,セマンティックスコアが動作の信頼性を損なうかどうかを判定する。
  論文  参考訳（メタデータ） (2026-08-25T14:39:02Z)
• Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
  本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。 画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-29T05:16:59Z)
• Robust Operational Space Control with Conformal Disturbance Bounds for Safe Redundant Manipulation [4.337275843491041]
  制約のある人間間環境で動作する冗長なロボットマニピュレータは、正確なタスク空間追跡を必要とする。 本稿では,拡張状態オブザーバ(ESO)と共形予測を統合したOSCTCフレームワークを提案する。 7-DoF Franka Research 3 マニピュレータの実験では、様々な障害の下で1kHzでミリレベルの追跡精度とリアルタイム安全な制御が実証された。
  論文  参考訳（メタデータ） (2026-07-01T04:33:39Z)
• Safety-Oriented Evaluation of Language Understanding Systems for Air Traffic Control [7.102251210849638]
  本稿では, 航空交通制御(ATC)の運用に適した, 安全性を重視した結果認識評価フレームワークを提案する。 以上の結果から,現在のLCMは合理的な集約精度を達成できるが,運用信頼性は著しく制限されていることが明らかとなった。 これらの知見は、AI支援ATCシステムの責任ある展開において、結果認識評価プロトコルの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-05-12T08:39:54Z)
• Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models [45.08545174556591]
  マルチエージェントトランスを用いた教師なし異常検出フレームワークを提案する。 検出安定性と物理的アライメントの両方を評価するための二重評価手法が提案されている。 本フレームワークでは,時間対衝突および統計ベースラインに欠落した388個の特異な異常を同定する。
  論文  参考訳（メタデータ） (2026-01-28T08:33:10Z)
• Scenario-aware Uncertainty Quantification for Trajectory Prediction with Statistical Guarantees [16.41262478059784]
  本稿では,予測区間と信頼性評価を備えた予測トラジェクトリを提供するシナリオ認識不確実性定量化フレームワークを提案する。 実世界のnuPlanデータセットを用いてフレームワークの評価を行い、シナリオアウェアな不確実性定量化と信頼性評価の有効性を実証した。
  論文  参考訳（メタデータ） (2025-12-05T12:54:39Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty [77.18483084440182]
  制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。 本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-13T23:08:49Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。