論文の概要: Confidence-Modulated Safety Filtering for End-to-End Policies
- arxiv url: http://arxiv.org/abs/2610.40922v1
- Date: Thu, 29 Oct 2026 19:48:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.482302
- Title: Confidence-Modulated Safety Filtering for End-to-End Policies
- Title(参考訳): エンド・ツー・エンド政策における信頼性変調型安全フィルタ
- Abstract要約: エンドツーエンドのポリシーは、生の観察から複雑な振る舞いを学ぶが、安全であることは保証されていない。
結果は、フィルタの運用設計ドメイン(ODD)と、その仮定が保持され安全性が保証される領域と、信頼性の高いポリシの能力ドメインの2つの領域で機能する。
ODD内では、すべての設定が安全であり、信頼性が向上し、パフォーマンスが向上します。
- 参考スコア(独自算出の注目度): 4.440305753099884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: End-to-end policies, from task-specific controllers to robot foundation models, learn complex behavior from raw observations but are not guaranteed to remain safe, so they are often wrapped in a safety filter. The resulting system operates under two domains: the filter's operational design domain (ODD), where its assumptions hold and safety is certified, and the policy's competence domain, where it is reliable. Filters typically fix their conservativeness regardless of the policy's competence, trading performance inside the ODD against margin beyond it. We ask whether the policy's confidence should set that level, and propose a filter-agnostic pipeline that modulates it at runtime: inside the ODD, where every setting is safe, confidence buys performance; beyond it, low confidence adds margin, which helps when it flags where the filter's model fails. Preliminary F1TENTH simulations, where this holds, show the modulated filter combining the strengths of permissive and conservative filters.
- Abstract(参考訳): タスク固有のコントローラからロボット基礎モデルまで、エンド・ツー・エンドのポリシーは、生の観察から複雑な振る舞いを学ぶが、安全であることは保証されていない。
結果は、フィルタの運用設計ドメイン(ODD)と、その仮定が保持され安全性が保証される領域と、信頼性の高いポリシの能力ドメインの2つの領域で機能する。
フィルターは通常、政策の能力に関わらず保守性を固定し、ODD内のパフォーマンスはそれを超えるマージンと引き換えに取引する。
ポリシの信頼性がそのレベルを設定するべきかどうかを問うとともに、実行時にそれを変調するフィルタに依存しないパイプラインを提案する。
予備的なF1TENTHシミュレーションは、許容フィルタと保守フィルタの強度を組み合わせた変調フィルタを示す。
関連論文リスト
- Risk-Aware Online Conformal State Probing [65.02200443982082]
オンライン整合状態探索(オンライン整合状態探索、OCSP)は、分布仮定に頼ることなく最悪のケースの信頼性レベルを認定する行動・探索政策である。
OCSPは、リトレーニングや微調整を必要とせずに、既存のバリューベースのコントロールポリシーに適用することができる。
論文 参考訳(メタデータ) (2026-09-22T08:55:09Z) - Who Earns the Safety? Intervention-Aware Quantum Predictive Control with Safety Attribution [6.016090674751934]
安全な政策学習は、誰が安全(政策や保護層)を得るかを問うべきだと我々は主張する。
我々は、IA-VQC-DPC(Intervention-Aware Variational Quantum Differentiable Predictive Control)を導入する。
クローズドループ、高忠実なBOPTESTビルディングコントロールエミュレータでは、介入認識トレーニングは量子ポリシーの生のフィルター前違反を著しく低減する。
論文 参考訳(メタデータ) (2026-06-08T17:39:22Z) - ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails [57.25411733152009]
推論に基づくガードレールは、最終的な決定を下す前に明確な合理性を生成することによって安全性のモデレーションを改善する。
モデルは、その推論において有害な意図を認識することができるが、それでも安全なラベルを予測したり、政策を根拠とした正当化なしに安全でない決定を下す。
推論に基づくガードレールのための一貫性を考慮したフレームワークであるConsisGuardを提案する。
論文 参考訳(メタデータ) (2026-05-29T09:42:08Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳(メタデータ) (2026-05-14T12:13:08Z) - Online Safety Filter for Deformable Object Manipulation with Horizon Agnostic Neural Operators [25.931880819916643]
変形可能なオブジェクト操作のための制約駆動型オンライン安全フィルタを提案する。
このフィルタは、名目制御ポリシーを最小限に修正することで、タスクレベルの安全性の制約をリアルタイムで実施する。
提案手法はFluidLabにおいて,フィルタがフィルタされていない基本方針に対して,安全な軌道速度を最大22%向上させる。
論文 参考訳(メタデータ) (2026-05-01T20:06:54Z) - Safe Control using Learned Safety Filters and Adaptive Conformal Inference [0.8921166277011348]
安全フィルタは、安全でない名目上のポリシーで制御システムの安全性を確保する効果的なツールであることが示されている。
本稿では,ハミルトン-ヤコビ到達可能性に基づく安全フィルタと適応型共形推論を組み合わせた適応型コンフォーマルフィルタ(ACoFi)を提案する。
また,ACoFiは,ユーザ定義パラメータによって,予測されたセキュリティ上の不確実性を不正確に定量化することを保証する。
論文 参考訳(メタデータ) (2026-04-20T16:34:49Z) - Conformal Policy Control [50.46542384484142]
我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。
自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
論文 参考訳(メタデータ) (2026-03-02T18:54:36Z) - How to Train Your Latent Control Barrier Function: Smooth Safety Filtering Under Hard-to-Model Constraints [21.03977709777739]
本研究では,可到達性値関数を制御障壁関数(CBF)に適応させることにより,最適化に基づくスムーズなフィルタリングを実現する。
本稿では,ラベル付けを伴わずにスムーズなマージン関数に繋がる勾配のペナルティによって,両方の課題に対処するLatentCBFを提案する。
視覚に基づく操作ポリシーによるシミュレーションベンチマークとハードウェアの実験は、LatentCBFがスムーズな安全フィルタリングを可能にすることを示した。
論文 参考訳(メタデータ) (2025-11-23T20:15:28Z) - Provably Optimal Reinforcement Learning under Safety Filtering [6.197103843323546]
パーミッシブセーフティフィルタによる安全性の強制は、固有の性能を低下させるものではないことを示す。
安全決定プロセス (SC-MDP) により安全を形式化し, 破滅的故障状態を回避するためには, 高い確率ではなくカテゴリー的判断が必要である。
我々の主定理は、 (i) フィルタリングされた MDP における学習は安全な分類であり、 (ii) 標準 RL 収束は、フィルタされた MDP に受け継がれ、 (iii) フィルタされた MDP で最適となる政策は、いずれの政策も決定する。
論文 参考訳(メタデータ) (2025-10-20T20:20:10Z) - Bounded Robustness in Reinforcement Learning via Lexicographic
Objectives [54.00072722686121]
強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。
本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。
本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
論文 参考訳(メタデータ) (2022-09-30T08:53:18Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。