論文の概要: Safety Hacking in Constrained Best-of-$N$ Inference-time Scaling
- arxiv url: http://arxiv.org/abs/2608.22915v1
- Date: Mon, 24 Aug 2026 07:51:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.95551
- Title: Safety Hacking in Constrained Best-of-$N$ Inference-time Scaling
- Title（参考訳）: 制約付きBest-of-N$推論時間スケーリングにおけるセーフティハック
- Abstract要約: 推論時のパイプラインは、しばしば複数のアウトプットをサンプリングし、学習された安全モデルでフィルタリングし、最も学習された報酬でプロキシ可能なアウトプットを返す。
不完全な安全プロキシは、まず安全でない出力で実現可能なセットを汚染し、報酬は、この残留汚染を増幅する。
- 参考スコア（独自算出の注目度）: 11.034208232337747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inference-time pipelines often sample multiple outputs, filter them with a learned safety model, and return the proxy-feasible output with the highest learned reward. We show that this composition creates a two-stage failure: an imperfect safety proxy first contaminates the feasible set with unsafe outputs, and reward maximization can then amplify this residual contamination. We define \emph{safety hacking} as selecting an output that passes the learned constraint but violates the true safety criterion. For constrained Best-of-$N$ sampling, we derive finite-$N$ bounds governed by the joint upper reward tails of safe and unsafe outputs within the proxy-feasible set. If unsafe-but-feasible outputs have the heavier tail, safety hacking becomes asymptotically certain as $N$ grows, even when false-positive mass and average safety- and reward-proxy errors are arbitrarily small. We also show that policies within a bounded $χ^2$ divergence from the proxy-feasible reference distribution admit an $N$-independent safety-hacking bound, and instantiate this general coverage-control principle with constrained pessimistic sampling. Coverage control limits amplification but cannot repair a contaminated feasible set: admitted unsafe outputs may still be favored, and regularized selection is not necessarily safer than constrained Best-of-$N$ for every reward proxy. Toy and language-model experiments characterize both contamination and its reward-tail amplification, which exposes an inherent difficulty in inference-time scaling with learned safety models.
- Abstract（参考訳）: 推論時のパイプラインは、しばしば複数のアウトプットをサンプリングし、学習された安全モデルでフィルタリングし、最も学習された報酬でプロキシ可能なアウトプットを返す。
不完全な安全プロキシは、まず安全でない出力で実現可能なセットを汚染し、報酬の最大化は、この残留汚染を増幅する。
emph{safety hacking} は、学習された制約をパスする出力を選択するが、真の安全基準に反するものとして定義する。
制約付きBest-of-N$サンプリングでは、プロキシーファシブル集合内の安全かつ安全でない出力の共同報酬テールによって支配される有限$N$境界を導出する。
安全でないが実現不可能なアウトプットが重ければ、偽陽性の質量と平均安全性と報酬プロキシエラーが任意に小さい場合でも、N$が成長するにつれて、安全ハッキングは漸近的に確実になる。
また、プロキシーファシブル参照分布から有界な$ ^2$のばらつき内のポリシーが$N$非依存の安全ハックバウンダリを許容し、制約付き悲観的サンプリングでこの一般的なカバレッジ制御の原則をインスタンス化することを示す。
包括的制御は増幅を制限するが、汚染された実現可能な集合を修復できない: 保証された安全でない出力は依然として好まれるし、正規化された選択はすべての報酬プロキシに対して制限されたBest-of-N$よりも必ずしも安全ではない。
トイおよび言語モデル実験は、汚染と報奨テール増幅の両方を特徴付け、学習された安全モデルによる推論時間のスケーリングにおいて固有の困難を露呈する。
関連論文リスト
- Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions [25.377745631929557]
本研究では,1次元連続行動とステージワイド高確率制約によるコンテキスト的帯域幅を実コストで検討する。
我々は,安全行動セットを保守的に推定しながら報酬を求める楽観的悲観的アルゴリズムであるHigh-Probability Constrained UCBを提案する。
論文 参考訳（メタデータ） (2026-08-27T07:52:00Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - Bridging Conformal Prediction and Scenario Optimization: Discarded Constraints and Modular Risk Allocation [0.0]
本稿では,システム・アンド・コントロールの観点から,その接続を直接検討する。
ブロックワイドキャリブレーション証明書を1つのジョイント保証に組み合わせた,単純なモジュラ構成規則を導入する。
論文 参考訳（メタデータ） (2026-03-19T18:37:58Z) - Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning [13.674504740468159]
安全到達性セットは、不安定なmin/maxやラグランジアン最適化を伴わずに、いかに安全制約を強制するかを示す。
また、このセットが不安定なmin/maxやラグランジアン最適化を使わずに、いかに安全性の制約を強制するかを示す。
本手法は,安全性を維持しつつ,アートベースラインの状態に適合または優れる。
論文 参考訳（メタデータ） (2026-03-08T11:09:33Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Exact Bias of Linear TRNG Correctors - Spectral Approach [5.923654407935533]
本稿では,真の乱数生成器における線形抽出器の正確なセキュリティ境界を確立する。
20,000のコードをスキャンすることで、圧縮効率と暗号セキュリティの基本的なトレードオフを明らかにします。
論文 参考訳（メタデータ） (2025-09-30T15:27:43Z) - Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。
RRPOは双対の定式化に頼ることなく、主問題に直接作用する。
我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
論文 参考訳（メタデータ） (2025-08-24T16:59:38Z) - UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。
我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。
UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-07-29T10:08:52Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳（メタデータ） (2025-03-07T08:41:53Z) - Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement
Learning in Unknown Stochastic Environments [84.3830478851369]
本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。
本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
論文 参考訳（メタデータ） (2022-09-29T20:49:25Z) - Safe Linear Bandits over Unknown Polytopes [39.177982674455784]
安全線形バンディット問題(英: safe linear bandit problem、SLB)は、線形プログラミングのオンライン手法である。
ポリトープ上でのSLBの有効性とスムーズな安全性のトレードオフについて検討した。
論文 参考訳（メタデータ） (2022-09-27T21:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。