論文の概要: Condensing Law of Security Information
- arxiv url: http://arxiv.org/abs/2611.17918v1
- Date: Fri, 13 Nov 2026 08:57:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:39.901212
- Title: Condensing Law of Security Information
- Title(参考訳): セキュリティ情報の凝縮法
- Abstract要約: 最適なセキュリティ情報は,一定のモデルサイズで実現できることを示す。
使用可能なセキュリティ情報はモデルサイズが一様であるため、セキュリティ一般化エラーはU字型である。
- 参考スコア(独自算出の注目度): 15.61126449729023
- License:
- Abstract: Scaling laws indicate that the generalization error of a large language model (LLM) decreases monotonically with model size once data is sufficient, and the corollary that larger models outperform smaller ones is now widely accepted. We argue that this corollary fails in security: decisions there hinge on anomalous inputs, which are long-tailed (e.g., zero-day attacks) and therefore poorly served by likelihood fitting. Worse still, the capability brought about by scale (e.g., inferring the intended whole from a corrupted part) leads a LLM silently \emph{repair} the anomaly before any downstream security head ever sees it. We formalize this as a tradeoff between two quantities: the cognitive capability $K(W)=I(W;P)$ that a model holds about the world distribution, and the security-information retention $R(W)=\frac{I(Z;S)}{I(A;S)}$ that survives in its intermediate representation. We derive three information-theoretic bounds to connect them: an upper bound on restoration accuracy in terms of $K(W)$, an upper bound on $R(W)$ in terms of the restoration error, and a Fano lower bound on security-task error in terms of $R(W)$. These theorems approximately imply that usable security information is a product of how much security information survives and how well it can be extracted, indicating that optimal usable security information can be achieved at a certain model size. We state this as the \emph{condensing law of security information}: usable security information is unimodal in model size, so security generalization error is U-shaped and is minimized at a finite $N^{\star}$ rather than decreasing without bound. The experiments on various real-world LLMs validate the condensing law, indicating that there is an optimal model size to solve security issues.
- Abstract(参考訳): スケーリング法則は、大規模言語モデル(LLM)の一般化誤差が、データが十分であればモデルサイズとともに単調に減少することを示している。
異常な入力に対する決定は、長い尾(例えばゼロデイアタック)であり、従って不適当である。
さらに悪いことに、スケールによって引き起こされる能力(例えば、破損した部分から意図した全体を推測する)は、下流のセキュリティヘッドがそれを見る前に、LCMが静かに異常を宣言する。
認知能力$K(W)=I(W;P)$と、その中間表現に残るセキュリティ情報保持$R(W)=\frac{I(Z;S)}{I(A;S)$である。
我々はこれらを接続するための情報理論的境界を3つ導出する:$K(W)$の復元精度上の上限、$R(W)$の復元誤差の上限、$R(W)$のセキュリティタスクエラー上のファノ下限。
これらの定理は、使用可能なセキュリティ情報は、どの程度のセキュリティ情報が生き残るか、どのように抽出できるかの産物であり、最適な使用可能なセキュリティ情報は一定のモデルサイズで達成可能であることを示唆している。
使用可能なセキュリティ情報はモデルサイズで一様であるため、セキュリティ一般化エラーはU字型であり、バウンドなしでは減少せず、有限の$N^{\star}$で最小化される。
実世界のLLMの様々な実験は凝縮法則を検証し、セキュリティ問題を解決するのに最適なモデルサイズがあることを示唆している。
関連論文リスト
- SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳(メタデータ) (2026-08-23T10:41:07Z) - Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。
そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
論文 参考訳(メタデータ) (2025-04-14T09:03:51Z) - Certifiably Robust Model Evaluation in Federated Learning under Meta-Distributional Shifts [8.700087812420687]
異なるネットワーク "B" 上でモデルの性能を保証する。
我々は、原則付きバニラDKWバウンダリが、同じ(ソース)ネットワーク内の未確認クライアント上で、モデルの真のパフォーマンスの認証を可能にする方法を示す。
論文 参考訳(メタデータ) (2024-10-26T18:45:15Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳(メタデータ) (2024-07-14T16:12:57Z) - Co(ve)rtex: ML Models as storage channels and their (mis-)applications [2.792027541710663]
機械学習システムでは、不注意な状態と未定義の振る舞いが重大な脆弱性の原因であることが示されている。
MLモデルは,パラメータ化の超過に伴って増大するキャパシティを持つストレージチャネルであると考えている。
本稿では,ML固有の置換に基づく誤り訂正プロトコルを含む,このケースにおけるキャパシティ向上のための最適化手法を提案する。
論文 参考訳(メタデータ) (2023-07-17T19:57:10Z) - Partially Oblivious Neural Network Inference [4.843820624525483]
CNNのようなニューラルネットワークモデルでは、いくつかの情報漏洩が許容可能であることを示す。
我々は,CIFAR-10ネットワークにおいて,モデル重量の最大80%を,事実上のセキュリティ上の影響なく漏洩させることができることを実験的に実証した。
論文 参考訳(メタデータ) (2022-10-27T05:39:36Z) - Safe Reinforcement Learning with Linear Function Approximation [48.75026009895308]
我々は、状態と行動の未知の線形コスト関数として安全を導入し、それは常に一定の閾値以下でなければならない。
次に,線形関数近似を用いたマルコフ決定過程(MDP)について,SLUCB-QVIおよびRSLUCB-QVIと呼ぶアルゴリズムを提案する。
SLUCB-QVI と RSLUCB-QVI は、Emphno safety violation で $tildemathcalOleft(kappasqrtd3H3Tright)$ regret, almost matching を達成した。
論文 参考訳(メタデータ) (2021-06-11T08:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。