Fugu-MT 論文翻訳(概要): Hacking CTFs with Plain Agents

論文の概要: Hacking CTFs with Plain Agents

arxiv url: http://arxiv.org/abs/2412.02776v1
Date: Tue, 03 Dec 2024 19:17:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-05 15:09:05.125168
Title: Hacking CTFs with Plain Agents
Title（参考訳）: プレーンエージェントによるCTFのハッキング
Authors: Rustem Turtayev, Artem Petrov, Dmitrii Volkov, Denis Volk,
Abstract要約: LLMエージェントを設計した高校レベルのハッキングベンチマークを飽和させた。攻撃的セキュリティベンチマークであるInterCode-CTFでは,プロンプト,ツール使用,複数試行によって95%のパフォーマンスが得られた。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We saturate a high-school-level hacking benchmark with plain LLM agent design. Concretely, we obtain 95% performance on InterCode-CTF, a popular offensive security benchmark, using prompting, tool use, and multiple attempts. This beats prior work by Phuong et al. 2024 (29%) and Abramovich et al. 2024 (72%). Our results suggest that current LLMs have surpassed the high school level in offensive cybersecurity. Their hacking capabilities remain underelicited: our ReAct&Plan prompting strategy solves many challenges in 1-2 turns without complex engineering or advanced harnessing.
Abstract（参考訳）: LLMエージェントを設計した高校レベルのハッキングベンチマークを飽和させた。具体的には,攻撃的セキュリティベンチマークであるInterCode-CTFにおいて,プロンプト,ツール使用,複数試行を用いて95%のパフォーマンスを得る。これは、Phuong et al 2024 (29%) と Abramovich et al 2024 (72%) の先行研究に勝っている。以上の結果から,現在のLLMは攻撃的サイバーセキュリティにおいて,高校を抜いたことが示唆された。私たちのReAct&Plan戦略は、複雑なエンジニアリングや高度な活用なしに、1-2ターンで多くの課題を解決します。

関連論文リスト

The Best Defense is a Good Offense: Countering LLM-Powered Cyberattacks [2.6528263069045126]
大規模言語モデル(LLM)は、間もなく自律的なサイバーエージェントにとって不可欠なものになるだろう。我々は,LLM攻撃の脆弱性を生かした新たな防衛戦略を導入する。以上の結果から, LLM脆弱性を防御戦略に変換する効果を実証し, 防衛成功率を最大90%とした。
論文参考訳（メタデータ） (2024-10-20T14:07:24Z)
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文参考訳（メタデータ） (2024-10-11T17:39:22Z)
Are Large Language Models a Threat to Programming Platforms? An Exploratory Study [2.304914644824781]
大規模言語モデル(LLM)は、様々な困難を伴う多様なプログラミング課題に対処する。本研究では,様々な難易度を持つプラットフォーム間の多様なプログラミング課題にLLMが取り組む能力について検討する。私たちはLeetCodeから98の問題、Codeforcesから126の問題を15のカテゴリでテストしました。
論文参考訳（メタデータ） (2024-09-09T17:30:20Z)
Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks [89.54736699767315]
我々は、LLMの有害な知識を直接解き放つことは、脱獄攻撃から守るためのより効果的な方法になり得ると推測する。 Vicuna-7Bの攻撃成功率(ASR)は82.6%から7.7%に低下した。 Llama2-7B-Chatは、約0.1Mの安全アライメントサンプルで微調整されているが、追加の安全システムプロンプトの下でも21.9%のASRを持つ。
論文参考訳（メタデータ） (2024-07-03T07:14:05Z)
GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
大規模言語モデル(LLM)の安全性を高める既存の手法は、LLMエージェントに直接転送することはできない。我々は、他のLLMエージェントに対するガードレールとして、最初のLLMエージェントであるGuardAgentを提案する。 GuardAgentは、1)提供されたガードリクエストを分析してタスクプランを作成し、2)タスクプランに基づいてガードレールコードを生成し、APIを呼び出すか、または外部エンジンを使用してコードを実行する。
論文参考訳（メタデータ） (2024-06-13T14:49:26Z)
Teams of LLM Agents can Exploit Zero-Day Vulnerabilities [3.2855317710497625]
LLMエージェントのチームが実世界のゼロデイ脆弱性を悪用できることを示します。我々は,サブエージェントを起動可能な計画エージェントを備えたエージェントシステムHPTSAを紹介する。我々は15の現実世界の脆弱性のベンチマークを構築し、エージェントのチームが以前の作業よりも4.5$times$で改善できることを示します。
論文参考訳（メタデータ） (2024-06-02T16:25:26Z)
Fast Adversarial Attacks on Language Models In One GPU Minute [49.615024989416355]
我々は、言語モデル(LM)のための高速ビームサーチに基づく敵攻撃(BEAST)の新たなクラスを導入する。 BEASTは解釈可能なパラメータを使用し、攻撃者は攻撃速度、成功率、敵のプロンプトの可読性の間でバランスをとることができる。我々の勾配のない標的攻撃は、1分以内に高い攻撃成功率のLMをジェイルブレイクできる。
論文参考訳（メタデータ） (2024-02-23T19:12:53Z)
PAL: Proxy-Guided Black-Box Attack on Large Language Models [55.57987172146731]
大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を示している。 PAL(Proxy-Guided Attack on LLMs)は, ブラックボックスクエリのみの設定で, LLMに対する最初の最適化ベースの攻撃である。 GPT-3.5-Turboの攻撃成功率は84%,Llama-2-7Bの攻撃成功率は48%であった。
論文参考訳（メタデータ） (2024-02-15T02:54:49Z)
LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks [0.0]
言語モデル(LLM)と浸透試験の共通点について検討する。本稿では,LLMの(倫理的)ハッキングに対する有効性を評価するための,完全自動特権エスカレーションツールを提案する。我々は,異なるコンテキストサイズ,コンテキスト内学習,任意の高レベルメカニズム,メモリ管理技術の影響を分析する。
論文参考訳（メタデータ） (2023-10-17T17:15:41Z)
SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。