論文の概要: Evaluating Large Language Models for Symbolic Security Protocol Analysis
- arxiv url: http://arxiv.org/abs/2607.20712v1
- Date: Wed, 22 Jul 2026 20:29:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.217304
- Title: Evaluating Large Language Models for Symbolic Security Protocol Analysis
- Title（参考訳）: シンボル型セキュリティプロトコル分析のための大規模言語モデルの評価
- Abstract要約: 本研究では,Large Language Models (LLMs) が同等な解析を行うことができるかを評価する。
私たちはGPTとDeepSeekを、130の難読化されたAnB/AnBxプロトコル上で3回、チャットと推論モードでテストします。
- 参考スコア（独自算出の注目度）: 1.0499611180329804
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Security protocol verification relies on formal tools such as ProVerif and OFMC. This study evaluates whether Large Language Models (LLMs) can perform comparable analysis. We test GPT and DeepSeek in chat and reasoning modes over three runs on 130 obfuscated AnB/AnBx protocols covering 388 security goals, scored against ProVerif and OFMC. Chat models reach 69 to 81% recall at precision below 31%. Reasoning models reverse this trade-off, reaching 66.5% precision for GPT and 45.4% for DeepSeek, but detect just over half the attacks. DeepSeek's two modes share one underlying model, so the comparison isolates reasoning itself, which raises precision from 27.2% to 45.4%. The GPT contrast spans a model-version change and is only suggestive. All models perform worst on authentication goals: reasoning models detect well under half of injective and non-injective agreement attacks, whereas chat models over-flag them at low precision. Confidentiality is the exception, with F1 up to 95.7% in reasoning mode. Verdicts are unstable across runs, identical on 89.7% of goals for GPT but 74.0% for DeepSeek. Self-reported confidence is uniformly high yet shows no meaningful correlation with correctness. On this benchmark LLMs do not match formal verification, but may serve, at best, as pre-screening filters.
- Abstract（参考訳）: セキュリティプロトコルの検証は、ProVerifやOFMCといったフォーマルなツールに依存している。
本研究では,Large Language Models (LLMs) が同等な解析を行うことができるかを評価する。
我々はGPTとDeepSeekを、130の難読化されたAnB/AnBxプロトコル上で3回、チャットと推論モードでテストし、388のセキュリティ目標をカバーし、ProVerifとOFMCに対して得点した。
チャットモデルは31%未満の精度で69～81%のリコールに達する。
推論モデルはこのトレードオフを逆転させ、GPTでは66.5%、DeepSeekでは45.4%の精度に達したが、攻撃の半分以上を検知した。
DeepSeekの2つのモードは1つの基礎モデルを共有するため、比較は推論自体を分離し、精度は27.2%から45.4%に向上する。
GPTのコントラストはモデル変換にまたがり、暗示的である。
推論モデルはインジェクティブと非インジェクティブのアタックの半分以下をかなり検出するが、チャットモデルは低精度でオーバーフラッグする。
信頼度は例外であり、F1は推論モードで95.7%まで上昇する。
GPTでは89.7%、DeepSeekでは74.0%とほぼ一致している。
自己報告された信頼度は均一に高いが、正しさと有意な相関は示さない。
このベンチマークでは、LSMは正式な検証とは一致しないが、少なくとも事前スクリーニングフィルタとして機能する可能性がある。
関連論文リスト
- State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳（メタデータ） (2026-09-13T05:55:03Z) - Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT [0.0]
本稿では,TF-IDF+ロジスティック回帰ベースラインと,82,255メールの統一コーパスを用いた微調整DistilBERT変換器の比較を行った。
両モデルともクリーンデータでは98%の精度を達成したが、敵の試験では急激に劣化した。
その結果, クリーンデータの精度は逆方向の頑健さを予測せず, 逆方向のテストはフィッシング検出評価の標準部分であることが明らかとなった。
論文 参考訳（メタデータ） (2026-07-20T18:28:07Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries [0.0]
大規模な言語モデルは有害な要求を拒否するように訓練されていますが、応答する前にいつ拒否するかを正確に予測できますか?
本研究では,モデルがまず拒絶行動を予測し,新しい文脈で応答する体系的な研究を通して,この問題を考察する。
信号検出理論(SDT)を用いて、全てのモデルにおいて高い内観感度(d' = 2.4-3.5)を示すが、感度は安全性境界において著しく低下する。
論文 参考訳（メタデータ） (2026-03-31T20:49:34Z) - Lie to Me: How Faithful Is Chain-of-Thought Reasoning in Reasoning Models? [0.0]
CoT(Chain-of- Thought)推論は、安全クリティカルなデプロイメントにおける大規模言語モデルの透明性メカニズムとして提案されている。
本研究では,9つの建築家族を対象としたオープンウェイト推論モデルを498の質問に対して検討した。
41,832回の推論では、全体の忠実度は39.7% (Seed-1.6-Flash) から89.9% (DeepSeek-V3.2- Speciale) まで変化している。
論文 参考訳（メタデータ） (2026-03-23T21:21:37Z) - Powerful Training-Free Membership Inference Against Autoregressive Language Models [3.9380576851378657]
EZ-MIAは、重要な観測値を利用するメンバーシップ推論攻撃であり、記憶はエラー位置において最も強く現れる。
本稿では,誤差位置における確率シフトの方向不均衡を計測する誤差ゾーン(EZ)スコアを導入する。
その結果、微調整言語モデルのプライバシーリスクは、これまで理解されていたよりもかなり大きいことが判明した。
論文 参考訳（メタデータ） (2026-01-17T16:59:41Z) - Does Inference Scaling Improve Reasoning Faithfulness? A Multi-Model Analysis of Self-Consistency Tradeoffs [0.0]
自己整合性は、推論タスクにおける大きな言語モデルの精度を改善するための一般的な手法として現れてきた。
推論スケーリングは信頼の推論を改善するのか?
我々は、100 GSM8Kの数学的推論問題に対して、4つのフロンティアモデル(GPT-5.2、Claude Opus 4.5、Gemini-3-flash-preview、DeepSeek-v3.2)にわたる総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2026-01-10T04:20:00Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。
我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。
GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文 参考訳（メタデータ） (2024-02-20T18:31:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。