論文の概要: An Empirical Study of Security Calibration in Large Language Models for Code

• arxiv url: http://arxiv.org/abs/2606.31159v1
• Date: Tue, 30 Jun 2026 05:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.087482
• Title: An Empirical Study of Security Calibration in Large Language Models for Code
• Title（参考訳）: コード用大規模言語モデルのセキュリティ校正に関する実証的研究
• Abstract要約: LLM生成コードにおけるセキュリティキャリブレーションに関する大規模な実証的研究を行った。 複数のベンチマークでGPT-4o-mini, Gemini-2.0-Flash, Qwen3-Coder-Nextを評価した。 以上の結果から,評価されたLSMでは過信が一般的であることが示唆された。
• 参考スコア（独自算出の注目度）: 5.167904179040144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are rapidly transforming software development, yet their use in security-critical contexts raises a key question: do models know when their generated code is insecure? This property, known as calibration, measures whether a model's confidence aligns with the true correctness of its outputs. We present the first large-scale empirical study of security calibration in LLM-generated code. We evaluate GPT-4o-mini, Gemini-2.0-Flash, and Qwen3-Coder-Next across multiple temperature settings on two complementary benchmarks: self-contained security tasks and multi-language repository-level contexts. Our results suggest that overconfidence is prevalent across the evaluated LLMs. Functional calibration is consistently worse than security calibration, suggesting that models estimate security outcomes more reliably than functional correctness, potentially because functional correctness depends on complex execution behavior. We also examine whether calibration-guided automated repair can help remediate vulnerabilities in LLM-generated code, finding only limited improvements while frequently introducing functional regressions. Moreover, we study different mitigation strategies for reducing False Trust, where models assign high confidence to vulnerable code. The results show that although architectural gating improves calibration on controlled benchmarks, calibration deteriorates in realistic repository-level settings, increasing the risk of high-confidence vulnerable outputs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア開発を急速に変革していますが、セキュリティクリティカルなコンテキストでの使用は、重要な疑問を引き起こします。 この性質はキャリブレーションと呼ばれ、モデルの信頼度がその出力の真の正しさと一致するかどうかを測定する。 LLM生成コードにおけるセキュリティキャリブレーションに関する大規模な実証的研究を行った。 我々は,GPT-4o-mini,Gemini-2.0-Flash,Qwen3-Coder-Nextを,自己完結型セキュリティタスクと複数言語リポジトリレベルのコンテキストという2つの相補的なベンチマークで複数の温度設定で評価した。 以上の結果から,評価されたLSMでは過信が一般的であることが示唆された。 機能的校正は、セキュリティ校正よりも一貫して悪化しており、機能的正当性は複雑な実行行動に依存するため、モデルが機能的正当性よりも確実にセキュリティ結果を推定することを示唆している。 また、校正誘導による自動修復がLLM生成コードの脆弱性の修正に役立ち、機能的回帰を頻繁に導入しながら、限られた改善しか見つからないかどうかについても検討する。 さらに、モデルが脆弱なコードに高い信頼を割り当てるFalse Trustを削減するための様々な緩和戦略について検討する。 その結果、アーキテクチャゲーティングは、制御されたベンチマークのキャリブレーションを改善するが、リアルなリポジトリレベルの設定ではキャリブレーションが悪化し、信頼性の高い出力のリスクが増大することが示された。

関連論文リスト

• The ACUTE Protocol: Operationalizing Language Model Activations for Better Calibration, Utility, and Trust [39.08747366439304]
  キャリブレーションと情報伝達のバランスをとるために, オーラクル (EURO) によって再正規化される新しい計量式を開発した。 また,不確実性を適切に判断するための汎用信頼度,実用性,信頼度推定プロトコル(ACUTE)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T20:15:50Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision [16.289117637700446]
  正準緩和法は、インスタンスレベルでの正当性を忠実に反映した正当性スコアを提供することである。 本研究は, 局所プラッツスケーリングを3種類の微粒な信頼度スコアに別々に適用することを提案する。 より広い範囲の確率区間にわたるキャリブレーション誤差を, 微粒な信頼度スコアが常に低いキャリブレーション誤差を達成できることが判明した。
  論文  参考訳（メタデータ） (2026-04-08T06:41:09Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning [10.123352394689134]
  よく校正された信頼性により、下流のシステムは、いつモデルを信頼するか、いつフォールバックメカニズムを延期するかを決定できる。 RLVRはタスク性能を向上するが、極めて自信過剰なモデルを生成する。 本稿では,意思決定確率を直接調整するキャリブレーション対応強化学習の定式化を提案する。
  論文  参考訳（メタデータ） (2026-01-19T18:31:31Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Prompt4Trust: A Reinforcement Learning Prompt Augmentation Framework for Clinically-Aligned Confidence Calibration in Multimodal Large Language Models [4.035767214877404]
  Prompt4Trustは,MLLMにおける信頼度校正をターゲットとした即時強化のための,最初の強化学習フレームワークである。 従来のキャリブレーション技術とは異なり、Prompt4Trustは安全で信頼性の高い臨床診断に最も重要なキャリブレーションの側面を特に優先している。 実験では,より大きなMLLMに対してゼロショットの一般化が期待できることを示した。
  論文  参考訳（メタデータ） (2025-07-12T13:21:10Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• On Calibration of LLM-based Guard Models for Reliable Content Moderation [27.611237252584402]
  大規模言語モデル(LLM)は、有害なコンテンツを生成する可能性や、ガードレールを避けようとするユーザによって、重大なリスクを負う。 既存の研究では、脅威LSMの入力と出力を適度にするためのLLMベースのガードモデルが開発されている。 しかし、これらのガードモデルの信頼性と校正には限定的な注意が払われている。
  論文  参考訳（メタデータ） (2024-10-14T12:04:06Z)
• Calibrating Long-form Generations from Large Language Models [34.72041258464477]
  大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。 現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。 本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T17:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。