論文の概要: AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

• arxiv url: http://arxiv.org/abs/2606.15809v1
• Date: Sun, 14 Jun 2026 13:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.864032
• Title: AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs
• Title（参考訳）: AttackonCTF: LLM時代のハードウェアセキュリティコンペティションのベンチマークを守る
• Abstract要約: HackTheSiliconのようなハードウェアセキュリティコンペティションは、脆弱性検出方法を評価するためのベンチマークプラットフォームとして機能する。 我々は,これらのベンチマークに対して,最初のLCM指向のセマンティクス保存型難読化フレームワークを提案する。 HackTheSiliconでは、LLMベースの検出精度を50%削減し、10%の難読化と78.6%の完全難読化を実現している。
• 参考スコア（独自算出の注目度）: 16.57778619842239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hardware security competitions such as HackTheSilicon serve as benchmarking platforms for evaluating vulnerability detection methods and for training humans and AI. However, our study reveals that LLMs threaten their validity. Instead of genuine security reasoning, detectors exploit a diff-style syntactic comparison, achieving an 83% detection rate, undermining fair evaluation. To mitigate this, we propose the first LLM-oriented, semantics-preserving obfuscation framework for these benchmarks. Unlike IP-protection approaches, it applies human-readable transformations and controlled diff-noise while preserving functionality. On HackTheSilicon, the framework reduces LLM-based detection accuracy by 50% with only 10% obfuscation and by 78.6% under complete obfuscation, restoring benchmark reliability.
• Abstract（参考訳）: HackTheSiliconのようなハードウェアセキュリティコンペティションは、脆弱性検出方法の評価と、人間とAIのトレーニングのためのベンチマークプラットフォームとして機能する。 しかし,本研究ではLSMが有効性を脅かすことが明らかとなった。 真のセキュリティ推論の代わりに、検出器は差分式構文比較を利用して83%の検知率を達成し、公正な評価を損なう。 そこで本研究では,これらのベンチマークに対して,最初のLCM指向のセマンティクス保存型難読化フレームワークを提案する。 IP保護アプローチとは異なり、人間の可読変換と制御されたdiff-noiseを機能を維持しながら適用する。 HackTheSiliconでは、LLMベースの検出精度を50%削減し、10%しか難読化せず、78.6%が完全に難読化され、ベンチマークの信頼性が回復する。

関連論文リスト

• CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
  大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。 我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。 CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-02T13:07:43Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection [5.902327401962825]
  リフレクション・ガード(Reflector-Guard)は,LLMに基づく安全分類器をチェーン・オブ・フォア・セルフ・リフレクション機能で拡張する手法である。 提案手法は,GPT-4o-miniから構造化アノテーションへの解析的推論を蒸留し,QLoRAを介してLlama-Guard-3-8Bを訓練し,論理的自己回帰を生成する。 たった1000のトレーニング例とわずか0.5%のモデルパラメータを使って、Reflect-Guardは2つの挑戦的なベンチマークで大幅に改善した。
  論文  参考訳（メタデータ） (2026-05-24T02:58:21Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation [0.0]
  この研究では、Vul4Jベンチマークから64のJava脆弱性にまたがる319のLarge Language Models (LLM)生成セキュリティパッチを分析した。 三軸評価を用いて分析したところ、パッチの24.8%だけが完全な正当性を達成し、51.4%はセキュリティと機能の両方に失敗していることがわかった。 提案されたSecurity repair Score (SRS)はこのギャップを定量化し、LLMが機能を保存する(平均0.832)が、セキュリティに苦しむ(平均0.251)。
  論文  参考訳（メタデータ） (2026-03-10T05:34:56Z)
• RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
  LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。 我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
  論文  参考訳（メタデータ） (2026-01-30T08:29:01Z)
• VulSolver: Vulnerability Detection via LLM-Driven Constraint Solving [23.259666449166456]
  従来の脆弱性検出方法は、事前定義されたルールマッチングに大きく依存する。 大規模言語モデル(LLM)を用いた制約解決手法を提案する。 VULSOLVERをベンチマークで評価し、精度97.85%、スコア97.97%、リコール100%を達成した。
  論文  参考訳（メタデータ） (2025-08-31T14:49:48Z)
• VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
  VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。 我々の結果は現在の状態を示している。
  論文  参考訳（メタデータ） (2025-05-26T01:20:44Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection [9.269926508651091]
  大規模言語モデル(LLM)は、脆弱性検出などの安全クリティカルなコードタスクに制限があることを示している。 本稿では,脆弱性の自然言語命令を,対照的な連鎖推論と統合する戦略を提案する。 本研究は,静的アナライザの厳格な手作りルールに代えて,セキュリティ対応のプロンプト技術が有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-16T18:08:14Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。