論文の概要: Toward AI Trustworthiness: Finding Analytically Proven Forward-Invariant Sets for AI-Controlled Systems

• arxiv url: http://arxiv.org/abs/2610.05689v1
• Date: Mon, 05 Oct 2026 02:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 05:01:49.130134
• Title: Toward AI Trustworthiness: Finding Analytically Proven Forward-Invariant Sets for AI-Controlled Systems
• Title（参考訳）: AIの信頼性に向けて:AI制御システムのための分析的に証明された前方不変集合を見つける
• Abstract要約: 信頼性を証明するための重要なステップは、フォワード不変集合を見つけることである。 固定コントローラを持つAI制御システムに対して解析的に証明されたFISを見つけることは困難である。 Invertible Neural Network (INN) を用いて、元の状態空間を潜在空間に変換するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.5270468102327004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural-network (NN) controllers are increasingly used in nonlinear control systems, but their highly nonlinear behavior makes them difficult to explain and verify, raising trustworthiness concerns in safety- and mission-critical applications. A key step toward certifiable trustworthiness is to find a Forward-Invariant Set (FIS): a state-space region such that any trajectory starting inside remains inside. If the FIS excludes unsafe states, safety can be guaranteed for initial states within it. Finding an analytically proven FIS for a given AI-controlled system with a fixed controller is difficult. We propose a framework that uses an Invertible Neural Network (INN) to transform the original state space into a latent space where a regular-shaped FIS is more likely to exist. We train the INN so that a preferred hyper-rectangular candidate becomes invariant in the latent space, then formally verify it. We prove that, whenever verification succeeds, both the latent-space candidate and its inverse-transformed counterpart in the original state space are analytically proven FISs. We evaluate the approach on 45 AI-controlled systems across three representative control testbeds. Our method finds certified FISs for all 45 systems, whereas an adapted state-of-the-art baseline finds none. It is also faster on 40 of the 45 systems, and the centers of the resulting FISs roughly match domain-expert preferences.
• Abstract（参考訳）: ニューラルネットワーク(NN)コントローラは、非線形制御システムでの利用が増えているが、その非常に非線形な振る舞いは、安全およびミッションクリティカルなアプリケーションにおいて、説明と検証を困難にし、信頼性の懸念を提起する。 信頼性を証明するための重要なステップは、フォワード不変集合(FIS: Forward-Invariant Set)を見つけることである。 FISが安全でない状態を除外すれば、その内部の初期状態に対する安全性が保証される。 固定コントローラを持つAI制御システムに対して解析的に証明されたFISを見つけることは困難である。 Invertible Neural Network (INN) を用いて、元の状態空間を正規形状のFISが存在する可能性が高い潜在空間に変換するフレームワークを提案する。 所望の超矩形候補が潜在空間において不変となるように、INNを訓練し、それを正式に検証する。 検証が成功すると、元の状態空間における潜在空間候補とその逆変換候補の両方が解析的に証明されたFISであることが証明される。 3つの代表的制御テストベッドにまたがる45のAI制御システムに対するアプローチを評価する。 提案手法は,45のシステムすべてに対して認証されたFISを検索するが,適応された最先端のベースラインは見つからない。 また45のシステムのうち40のシステムでは高速で、その結果のFISの中心はドメイン-専門家の好みとほぼ一致している。

関連論文リスト

• Robust Verification of Controllers under State Uncertainty via Hamilton-Jacobi Reachability Analysis [49.31947916567367]
  Hamilton-Jacobi (J) リーチビリティ解析は、最悪の不確実性の下で最適なリーチビリティを計算できる一般的な非線形システムに対する一般的な形式的検証ツールである。 この作業は、HJローバーを介してRobust Verification Controllersのための、HJベースのリーチビリティベースのシステム検証フレームワークである。 本稿では,Ro-CoReの安全性検証とコントローラ設計のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-11-18T18:55:20Z)
• Certified Robust Invariant Polytope Training in Neural Controlled ODEs [3.5481521547811976]
  本研究では、フィードフォワードニューラルネットワークとしてパラメータ化された状態フィードバック制御器を用いて、外乱を受ける通常の微分方程式としてモデル化された非線形制御系について考察する。 本研究では,ポリトープ内の任意の軌道が乱れに関係なくポリトープ内に留まる,頑健な前方不変ポリトープを持つコントローラのトレーニングフレームワークを提案する。 我々は,手話制約の単純さによって,システム次元を50ドル以上の状態に拡張し,実行時に最先端のリャプノフに基づくサンプリングアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-02T13:55:26Z)
• Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
  学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。 非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。 我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
  論文  参考訳（メタデータ） (2024-04-11T17:49:15Z)
• Provably Safe Neural Network Controllers via Differential Dynamic Logic [2.416907802598482]
  NNCS検証のための制御理論の再利用を可能にする最初の一般手法を提案する。 dLの安全な制御エンベロープに基づいて、NN検証によって証明されたNNの仕様を導出する。 本稿では,NNCS の無限時間安全に関する dL 証明によって,仕様に忠実な NNCS の証明が反映されていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T16:15:25Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• Backward Reachability Analysis of Neural Feedback Loops: Techniques for Linear and Nonlinear Systems [59.57462129637796]
  本稿では,ニューラルネットワークを用いた閉ループシステムの安全性検証のための後方到達性アプローチを提案する。 フィードバックループにおけるNNの存在は、その活性化関数の非線形性や、NNモデルは一般に可逆的ではないため、ユニークな問題セットを示す。 フィードフォワードNNで表される制御ポリシを持つ線形系と非線形系のBP過近似を計算するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-28T13:17:28Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。