論文の概要: The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

• arxiv url: http://arxiv.org/abs/2606.03308v2
• Date: Wed, 03 Jun 2026 06:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 17:40:41.62332
• Title: The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound
• Title（参考訳）: コードLLMのセキュリティ予算:情報理論能力とセキュリティの境界
• Authors: Jianwei Tai,
• Abstract要約: 本稿では,機能容量$Cap=rmI(c*;c_)$と摂動保持$$Sec=rmI(c_;tilde c_)$のコードLLMに対する情報理論トレードオフについて検討する。 for $pto c_$ with perturbed prompt $tilde p$, we prove $Cap+Secle rmH(c*)+rmI(p;tilde p)$。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI programming assistants make natural-language prompts a software-development interface, so small prompt perturbations become usability and security risks. We study an information-theoretic trade-off for code LLMs between functional capacity, $\Cap=\rmI(c^*;c_π)$, and perturbation retention, $\Sec=\rmI(c_π;\tilde c_π)$. Here $\Sec$ is a retention-channel quantity, not a direct measure of exploit success or vulnerable-code generation. For code completion modeled as $p\to c_π$ with perturbed prompt $\tilde p$, we prove $\Cap+\Sec\le \rmH(c^*)+\rmI(p;\tilde p)$, decomposing the budget into task entropy and prompt leakage. A deterministic-embedding corollary gives the hidden-state version, and a tokenizer/gzip companion bound gives a model-agnostic ceiling on sequence-level task entropy. Empirically, we estimate embedded $\Cap$ and $\Sec$ from output-only last-token hidden states, excluding prompt context from the $\Sec$ channel. Six individual validation rows across two models, two datasets, INT4/BF16 precision, and estimator ablations satisfy the embedded check $(\Cap+\max_T\Sec)/(\rmH(z^*)+\max_T\rmI(p;\tilde p))\le1$. Saturation is 0.27--0.92 and theorem slack is 2.36--26.94 nats; a separate three-seed stability diagnostic has mean saturation 0.87. A context-mixed cosine, used only as a per-problem generation-prompt alignment signal, correlates with pass@1 on CodeLlama-HumanEval ($ρ{=}0.36$, $p{<}10^{-4}$), Qwen-HumanEval ($ρ{=}0.22$, $p{=}0.005$), and CodeLlama-MBPP ($ρ{=}0.225$, $p{=}0.0038$; all $n{=}164$). Adaptive stress tests with a 23-perturbation pool, a fixed universal suffix, and prompt-embedding PGD all leave positive slack.
• Abstract（参考訳）: AIプログラミングアシスタントは、自然言語をソフトウェア開発インターフェースに促すため、小さな急激な摂動がユーザビリティとセキュリティリスクになる。 機能容量$\Cap=\rmI(c^*;c_π)$と摂動保持$\Sec=\rmI(c_π;\tilde c_π)$の間のコードLLMに対する情報理論トレードオフについて検討する。 ここで$\Sec$は保持チャネルの量であり、エクスプロイトの成功や脆弱性のあるコード生成の直接的な尺度ではない。 p\to c_π$ with perturbed prompt $\tilde p$, we prove $\Cap+\Sec\le \rmH(c^*)+\rmI(p;\tilde p)$, decomposing the budget into task entropy and prompt leakage。 決定論的埋め込み座標は隠れ状態バージョンを与え、トークン化/gzip結合境界は、シーケンスレベルのタスクエントロピーにモデル非依存の天井を与える。 経験的に、出力のみの最後の隠れ状態から$\Cap$と$\Sec$を推定し、$\Sec$チャネルからの即時コンテキストを除外します。 組込みチェック$(\Cap+\max_T\Sec)/(\rmH(z^*)+\max_T\rmI(p;\tilde p))\le1$を満足する。 Saturation is 0.27--0.92 and theorem slack is 2.36--26.94 nats; a separate three-seed stability diagnosis has mean saturation 0.87。 CodeLlama-HumanEval ($ρ{=}0.36$, $p{<}10^{-4}$, Qwen-HumanEval ($ρ{=}0.22$, $p{=}0.005$), CodeLlama-MBPP ($ρ{=}0.005$, $p{=}0.0038$; all $n{=}0.0038$, all $n{=}164$。 適応的ストレステストでは、23摂動プール、固定普遍接尾辞、即時埋め込みPGDがいずれも正のスラックを残した。

関連論文リスト

• Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models [0.0]
  VLA(Vision-Language-Action)モデルはクリーンな入力で高い成功率に達するが、小さな逆方向の摂動で崩壊する。 PGD攻撃は、OpenVLA-7BのLIBEROの成功を95%ドルから5%以下に下げることを示す。 任意のVLAポリシーに対して、capability $I(Astar;Api)$と robustness $I(Api;Atildepi)-I(Api;)$ sum to at least $H(Astar)+I(X;Xt)
  論文  参考訳（メタデータ） (2026-05-25T14:16:57Z)
• Covering a Few Submodular Constraints and Applications [2.243805796685295]
  複数の部分モジュラー制約を網羅する問題を考察する。 任意の整数に対して$alpha ge 1$ が集合 $S$ を出力し、$f_i(S) ge$ 1-1/ealpha -epsilon)b_i$ が [r]$ と $mathbbE[c(S)] le (1+epsilon)alpha cdot sfOPT$ に対して$1-1/ealpha -epsilon)b_i$ が成り立つ。
  論文  参考訳（メタデータ） (2025-07-14T03:32:42Z)
• PREM: Privately Answering Statistical Queries with Relative Error [91.98332694700046]
  合成データを生成する新しいフレームワークである$mathsfPREM$(Private Relative Error Multiplicative weight update)を紹介します。 我々はアルゴリズムをほぼ一致する下界で補完する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:02Z)
• Corruption-Robust Offline Reinforcement Learning with General Function Approximation [60.91257031278004]
  一般関数近似を用いたオフライン強化学習(RL)における劣化問題について検討する。 我々のゴールは、崩壊しないマルコフ決定プロセス(MDP)の最適方針に関して、このような腐敗に対して堅牢で、最適でないギャップを最小限に抑える政策を見つけることである。
  論文  参考訳（メタデータ） (2023-10-23T04:07:26Z)
• $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
  コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。 p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。 p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
  論文  参考訳（メタデータ） (2023-07-11T08:51:53Z)
• Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
  本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。 我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。 技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
  論文  参考訳（メタデータ） (2022-10-15T09:22:22Z)
• Low-Rank Approximation with $1/\epsilon^{1/3}$ Matrix-Vector Products [58.05771390012827]
  我々は、任意のSchatten-$p$ノルムの下で、低ランク近似のためのクリロフ部分空間に基づく反復法について研究する。 我々の主な成果は、$tildeO(k/sqrtepsilon)$ matrix-vector productのみを使用するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-10T16:10:41Z)
• Optimal SQ Lower Bounds for Learning Halfspaces with Massart Noise [9.378684220920562]
  マスアートノイズの存在下でハーフスペースを学習するための、最も厳密な統計クエリ(SQ)の下界。 任意の $eta in [0,1/2]$ に対して、$eta$ よりも誤り分類誤差の少ない全ての SQ アルゴリズムは、スーパーポリノミカルな精度のクエリを必要とすることを示す。
  論文  参考訳（メタデータ） (2022-01-24T17:33:19Z)
• Gap-Dependent Unsupervised Exploration for Reinforcement Learning [40.990467706237396]
  タスクに依存しない強化学習のための効率的なアルゴリズムを提案する。 このアルゴリズムは1/epsilon cdot (H3SA / rho + H4 S2 A) の$widetildemathcalOのみを探索する。 情報理論上、この境界は$rho Theta (1/(HS))$と$H>1$に対してほぼ厳密であることを示す。
  論文  参考訳（メタデータ） (2021-08-11T20:42:46Z)
• Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
  S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。 経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
  論文  参考訳（メタデータ） (2021-03-25T18:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。