論文の概要: Latent Safety Filters: When a Lossy Encoder Admits a Transferable Certificate
- arxiv url: http://arxiv.org/abs/2610.04297v1
- Date: Sat, 03 Oct 2026 05:09:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:45:54.320359
- Title: Latent Safety Filters: When a Lossy Encoder Admits a Transferable Certificate
- Title（参考訳）: 遅延安全フィルタ:ロスシーエンコーダが転送可能な証明書を許可した場合
- Abstract要約: 潜時安全フィルタは、学習した状態の低次元表現に対する安全性を証明し、解析的記述に抵抗する制約を可能にする。
本研究では, 物理システムに転送する安全証明書を損失エンコーダが認めているかどうかを問うとともに, 破棄された安全関連ダイナミクスの検出可能性によって解答が支配されていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent safety filters certify safety on a learned low-dimensional representation of the state, enabling constraints that resist analytic description. Because the encoder is lossy, a filter can report safe while the physical state is unsafe, with no detectable model error. Existing transfer conditions leave the effect of discarded safety information implicit. We ask when a lossy encoder admits a safety certificate that transfers to the physical system, and show the answer is governed by the detectability of the discarded safety-relevant dynamics. We construct a system whose latent model is exact and whose latent signals always report safe, while the physical state becomes arbitrarily unsafe. For this system no certificate exists and no monitor downstream of the encoder can detect the failure. When the discarded dynamics contract, a latent barrier certifies true safety up to two explicit margins, one for the latent-model error and one for the variation of safety across states the encoder cannot distinguish. In the linear case and under boundedness and non-degeneracy conditions, every calibrated barrier transfers with a finite margin when the safety-relevant subspace is detectable, and none does otherwise. On learned cartpole encoders, the model error does not indicate for which representations the estimated bound is non-vacuous, while the second margin does.
- Abstract（参考訳）: 潜時安全フィルタは、学習した状態の低次元表現に対する安全性を証明し、解析的記述に抵抗する制約を可能にする。
エンコーダは損失が大きいため、物理状態が安全でない間にフィルタが安全なことを報告でき、検出可能なモデルエラーは発生しない。
既存の転送条件は、廃棄された安全情報の影響を暗黙に残す。
本研究では, 物理システムに転送する安全証明書を損失エンコーダが認めているかどうかを問うとともに, 破棄された安全関連ダイナミクスの検出可能性によって解答が支配されていることを示す。
我々は、潜時モデルが正確で、潜時信号が常に安全であると報告し、物理的状態が任意に安全でないシステムを構築する。
このシステムでは、証明書は存在せず、エンコーダの下流で障害を検出できない。
破棄されたダイナミックス契約の場合、潜伏障壁は真の安全性を2つの明確なマージンまで証明する。
線形の場合と有界性および非退化条件では、安全関連部分空間が検出可能でなければ、すべてのキャリブレーションされた障壁は有限マージンで移動する。
学習されたカートポールエンコーダでは、モデル誤差は、推定された境界の表現が空でないことを示すものではないが、第2のマージンは空でない。
関連論文リスト
- Finite-Data Safety Informativity Under Dynamic Asymmetric Actuation [0.711144397510333]
我々は、コマンドが所定の安全不平等を強制できるかどうかを判定する有限データ証明書を開発する。
車両実験では、安全クリティカルな環境での有限の測定から出力安全性を証明できることが示されている。
論文 参考訳（メタデータ） (2026-10-01T14:54:54Z) - ShieldCLIP: Selective Safety Alignment for Harmful Content Mitigation in Multimodal Foundation Models [52.00294001406555]
ShieldCLIPは、各モードの観測された安全性状態に、安全アライメントを条件付けるためのフレームワークである。
ViSUv2は、578のコンセプトと28のカテゴリにわたる独立したモダリティごとの安全ラベルを持つデータセットである。
ShieldCLIPは、従来型の安全対応エンコーダと強力な緩和ベースラインよりも、有害な出力を一貫して削減する。
論文 参考訳（メタデータ） (2026-09-30T13:14:56Z) - Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs [54.96236442484317]
リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。
Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
論文 参考訳（メタデータ） (2026-07-21T02:15:39Z) - Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs [13.624659633750861]
大規模言語モデル(MLLM)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。
出力対応安全ガードレールへのパラダイムシフトを提案する。
我々の手法はモデル内の隠れ状態空間内で動作し、次の世代が安全でないかどうかを予測する。
論文 参考訳（メタデータ） (2026-06-20T12:09:13Z) - Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文 参考訳（メタデータ） (2026-06-03T18:00:04Z) - Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment [41.47485992177247]
我々は,事前学習型言語モデルを拡張するモジュール型アプローチであるSafe Transformerを提案する。
安全ビットは、モデルの安全分類の解釈可能な信号と制御可能なスイッチの両方として機能する。
赤チームのベンチマークでは、Safe Transformerがほぼゼロのアタック成功率を達成する。
論文 参考訳（メタデータ） (2026-03-06T02:54:16Z) - SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。
SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
論文 参考訳（メタデータ） (2026-01-13T15:01:38Z) - UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。
我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。
UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-07-29T10:08:52Z) - Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures [11.73424668815629]
本研究では,不確実性を考慮した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。
この不確実性認識型安全フィルタは,潜在的な安全でないシナリオを事前に検出し,安全かつ不分配な動作を確実に提案することを示す。
論文 参考訳（メタデータ） (2025-05-01T18:18:17Z) - Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。
我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。
安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
論文 参考訳（メタデータ） (2024-11-21T09:47:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。