論文の概要: CUBICS: Situation-aware performance estimation for safety-relevant ML components
- arxiv url: http://arxiv.org/abs/2608.16564v1
- Date: Mon, 17 Aug 2026 13:29:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.71506
- Title: CUBICS: Situation-aware performance estimation for safety-relevant ML components
- Title（参考訳）: CUBICS:安全関連MLコンポーネントの性能評価
- Abstract要約: 本稿では,安全関連MLコンポーネントのコンテクスト・モジュラー・フレームワークであるCUBICSを紹介する。
CUBICSは、運用設計ドメインを状況に分割し、各安全関連コンポーネントに対して、状況固有の仮定と確率的保証のセットを定義する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) is a key technology driving innovation today, but ensuring ML safety remains a major challenge for safety-related applications. A promising idea is to build proven-in-use arguments from field data, e.g. by running ML components (MLCs) in shadow mode or within safety envelopes so that their outputs can be monitored as 'safe probes' without affecting safety. These probes can then be used to build a statistical argument about field performance in a Bayesian way. However, many Bayesian field-data approaches in safety engineering model failures as a simple Bernoulli (or binomial) process with a single global failure probability and i.i.d. trials, which is rarely adequate for MLCs whose performance depends strongly on context. Statistical evidence is also about coverage of relevant situations, including edge cases, and building a single integrated statistical model for the entire system is usually not feasible. To address these challenges, this paper introduces CUBICS, a context-modular framework for per-component, situation-aware performance estimation of safety-relevant ML components. CUBICS partitions the operational design domain into situations and, for each safety-relevant component, defines a set of situation-specific assumptions and probabilistic guarantees that are represented and updated in a Bayesian manner using Subjective Logic (SL). By combining these guarantees with beliefs about how often each situation occurs, CUBICS derives an overall risk estimate for each component without requiring a monolithic system-level statistical model, and thus provides a building block for modular, field-data based safety assurance.
- Abstract（参考訳）: 機械学習(ML)は、今日のイノベーションを駆動する重要な技術だが、安全に関するアプリケーションにとって、MLの安全性を保証することが大きな課題だ。
有望なアイデアは、例えば、シャドウモードや安全封筒内でMLコンポーネント(MLC)を実行することで、フィールドデータから実証済みの引数を構築することで、安全性に影響を与えることなく、その出力を"セーフプローブ"として監視できるようにすることである。
これらのプローブは、ベイズ的な方法で場のパフォーマンスに関する統計的議論を構築するのに使うことができる。
しかし、安全工学モデル失敗における多くのベイズ的フィールドデータアプローチは、単一の大域的失敗確率を持つ単純なベルヌーイ(または二項的)プロセスや、文脈に強く依存するLCCにはあまり適さないトライアルである。
統計的証拠はまた、エッジケースを含む関連する状況のカバレッジに関するものであり、システム全体のための単一の統合統計モデルを構築することは、通常不可能である。
これらの課題に対処するために,安全関連MLコンポーネントのコンポーネントごとの性能評価を行うコンテキストモジュラーフレームワークCUBICSを紹介する。
CUBICSは、運用設計領域を状況に分割し、各安全関連コンポーネントに対して、主観論理(SL)を用いてベイズ的に表現され更新される状況固有の仮定と確率的保証のセットを定義する。
これらの保証と、各状況の発生頻度に関する信念を組み合わせることで、CUBICSはモノリシックなシステムレベルの統計モデルを必要としない、各コンポーネントの全体的なリスク推定を導出し、モジュラーでフィールドデータベースの安全保証のためのビルディングブロックを提供する。
関連論文リスト
- Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳（メタデータ） (2026-03-31T23:19:50Z) - When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。
新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。
実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
論文 参考訳（メタデータ） (2025-09-15T15:40:58Z) - Incorporating Failure of Machine Learning in Dynamic Probabilistic Safety Assurance [0.1398098625978622]
より広範な因果安全分析の一環として, SafeML と Bayesian Networks (BNs) を統合する安全保証フレームワークを導入し, ML 障害をモデル化する。
交通標識認識を用いた自動車小隊のシミュレーションシステムに対するアプローチを実証する。
論文 参考訳（メタデータ） (2025-06-07T17:16:05Z) - Domain-Agnostic Scalable AI Safety Ensuring Framework [6.421238475415244]
高い性能を維持しつつ、強力な安全保証を実現するための、ドメインに依存しない最初のAI安全フレームワークを提案する。
本フレームワークは,(1) 確率制約付き最適化コンポーネント,(2) 安全性分類モデル,(3) 内部試験データ,(4) 保守的試験手順,(5) 情報的データセット品質測定,(6) 勾配勾配を有する連続近似損失関数を含む。
論文 参考訳（メタデータ） (2025-04-29T16:38:35Z) - Superficial Safety Alignment Hypothesis [15.215130286922564]
本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択することを示唆する,表層安全アライメント仮説(SSAH)を提案する。
属性クリティカルなコンポーネントは,安全性クリティカルユニット(SCU),ユーティリティクリティカルユニット(UCU),コンプレックスユニット(CU),冗長ユニット(RU)の4種類に分類する。
実験結果から, 微調整中に特定の安全クリティカル成分を凍結することで, 新たな作業に適応しながら, 安全性特性を維持できることが判明した。
論文 参考訳（メタデータ） (2024-10-07T19:53:35Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳（メタデータ） (2024-07-14T16:12:57Z) - Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T16:14:15Z) - Scope Compliance Uncertainty Estimate [0.4262974002462632]
SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。
この研究は、二項決定を連続計量に変換することによってこれらの制限に対処する。
論文 参考訳（メタデータ） (2023-12-17T19:44:20Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Reliability Assessment and Safety Arguments for Machine Learning
Components in Assuring Learning-Enabled Autonomous Systems [19.65793237440738]
LES(Learning-Enabled Systems)のための総合保証フレームワークを提案する。
次に、ML分類器のための新しいモデルに依存しない信頼性評価モデル(RAM)を提案する。
モデル仮定と、我々のRAMが発見したML信頼性を評価するための固有の課題について論じる。
論文 参考訳（メタデータ） (2021-11-30T14:39:22Z) - Pointwise Feasibility of Gaussian Process-based Safety-Critical Control
under Model Uncertainty [77.18483084440182]
制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。
本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-13T23:08:49Z) - Efficient statistical validation with edge cases to evaluate Highly
Automated Vehicles [6.198523595657983]
自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。
既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。
本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-04T04:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。