Fugu-MT 論文翻訳(概要): SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents

論文の概要: SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents

arxiv url: http://arxiv.org/abs/2606.13757v1
Date: Thu, 11 Jun 2026 16:35:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-15 16:00:42.550108
Title: SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents
Title（参考訳）: SEVRA-BENCH : レビューエージェントにおける脆弱性の社会工学
Authors: Rui Melo, Riccardo Fogliato, Sean Zhou, Pratiksha Thaker, Zhiwei Steven Wu,
Abstract要約: 大規模言語モデル (LLM) レビュアーはプルリクエスト (PR) においてますます使われている。これにより、静的な脆弱性検出やコード生成のベンチマークが対処しないという疑問が持ち上がる。自動レビュアーがそのようなプルリクエストを承認する頻度を測定するベンチマークであるSEVRA-BENCHを紹介する。
参考スコア（独自算出の注目度）: 21.409263140916327
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM) reviewers are increasingly used in pull-request (PR) workflows, where their approvals help decide which code is merged into a repository. This raises a question that benchmarks for static vulnerability detection or code generation do not address: can an automated reviewer reject a malicious contribution when the attacker controls both the code change and the accompanying PR text? We introduce SEVRA-BENCH (Social Engineering of Vulnerabilities in Review Agents), a benchmark that measures how often an automated reviewer approves such adversarial pull requests. Each malicious PR in SEVRA-BENCH is built from a real project commit that previously fixed a vulnerability listed in the Common Vulnerabilities and Exposures (CVE) database. We automatically invert that fix to restore the original vulnerable code and submit it as a pull request wrapped in one of 15 social-engineering framings, which vary the claims made, the supporting evidence, the urgency conveyed, signals of prior approval, and appeals to authority. SEVRA-BENCH contains 1,062 malicious PRs drawn from Common Vulnerabilities and Exposures (CVE)-linked fixes across the top 10 entries of the 2025 Common Weakness Enumeration (CWE) Top 25. In a realistic setting, we evaluate 8 current LLMs as code review agents on PRs that introduce vulnerabilities previously reported in public disclosures. Our results reveal a sharp gap in security capabilities between closed- and open-source models. We hope SEVRA-BENCH will serve as a valuable resource for advancing open-source models and narrowing this gap.
Abstract（参考訳）: 大きな言語モデル(LLM)レビュアーはプルリクエスト(PR)ワークフローでますます使われており、承認はどのコードがリポジトリにマージされるかを決定するのに役立つ。自動レビュアーは、攻撃者がコード変更と関連するPRテキストの両方を制御するとき、悪意のあるコントリビューションを拒否できますか? 自動レビュアーがこのような逆引き要求をいかに頻繁に承認するかを評価するベンチマークであるSEVRA-BENCH(Social Engineering of Vulnerabilities in Review Agents)を紹介する。 SEVRA-BENCHの悪意あるPRは、以前Common Vulnerabilities and Exposures (CVE)データベースにリストされた脆弱性を修正した実際のプロジェクトコミットから作られている。私たちは、その修正を逆転して、元の脆弱性のあるコードを復元し、それを15のソーシャルエンジニアリングの枠組みのうちの1つにラップしたプルリクエストとして提出します。 SEVRA-BENCHには、2025 Common Weakness Enumeration (CWE) Top 25の上位10項目に、Common Vulnerabilities and Exposures (CVE)がリンクした修正から引き出された1,062の悪意のあるPRが含まれている。現実的な環境では、8つの現在のLCMをPRのコードレビューエージェントとして評価し、公開公開時に報告された脆弱性を導入する。この結果から,クローズドモデルとオープンソースモデルの間には,セキュリティ機能に大きなギャップがあることがわかった。 SEVRA-BENCHは、オープンソースモデルを進化させ、このギャップを狭めるための貴重なリソースになることを期待しています。

関連論文リスト

GCVE: A Decentralized Model for Vulnerability Identification, Publication, and Operational Enrichment [51.77969450792284]
Global CVEイニシアチブ(Global CVE Initiative, G)は、脆弱性の識別、パブリッシュ、エンリッチメントのための分散化、オープン化、識別子モデルを提案する。本稿では,自律型G番号認証,ライトウェイトアロケーションルール,分散パブリッシュ,オープン・ベスト・カレントプラクティス,実用的なリファレンス実装を組み合わせた社会技術的取り組みとしてGを提案する。
論文参考訳（メタデータ） (2026-05-30T19:03:39Z)
CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文参考訳（メタデータ） (2026-04-10T09:41:21Z)
Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文参考訳（メタデータ） (2026-03-19T10:40:27Z)
Favia: Forensic Agent for Vulnerability-fix Identification and Analysis [5.43098755190303]
脆弱性修正識別のための法医学的エージェントベースのフレームワークであるFaviaを提案する。 Faviaは、スケーラブルな候補ランキングと、深く反復的なセマンティック推論を組み合わせる。私たちは、実世界の3,708のリポジトリから800万以上のコミットからなる大規模なデータセットであるCVEVC上で、Faviaを評価しました。
論文参考訳（メタデータ） (2026-02-13T00:51:22Z)
RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文参考訳（メタデータ） (2026-01-30T08:29:01Z)
Security in the Age of AI Teammates: An Empirical Study of Agentic Pull Requests on GitHub [4.409447722044799]
本研究の目的は,自律型コーディングエージェントが実際にソフトウェアセキュリティにどのように貢献するかを特徴付けることである。 AIDevデータセットを用いてエージェントによるPRの大規模解析を行う。次に、頻度、受け入れ結果を分析し、自律エージェント、プログラミングエコシステム、コード変更のタイプをレビューします。
論文参考訳（メタデータ） (2026-01-01T21:14:11Z)
Automated Code Review Assignments: An Alternative Perspective of Code Ownership on GitHub [9.824540566919184]
GitHubは、特定のファイルのレビュアーを自動的に指定するCODEOWNERS機能を導入した。 CODEOWNERSの使用に関する大規模な実証的研究は、844,000件以上のプルリクエストと190万のコメント、200万以上のレビューで実施された。結果は、コード所有者がCODEOWNERSファイルに規定されたルールに準拠し、従来のオーナシップのメトリクスと同じような協調行動を示す傾向にあることを示しているが、時間が経つにつれてスムーズで高速なPRワークフローに寄与する傾向にあることを示している。
論文参考訳（メタデータ） (2025-12-05T09:14:22Z)
The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文参考訳（メタデータ） (2025-12-01T07:05:23Z)
What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs [46.325755802511026]
我々は、LLM(Large Language Model)と細調整された小言語モデルに基づく2つのアプローチを統合するデュアルメタルパイプラインであるLMを開発した。 LMは、OOBまたはUAFの脆弱性に対処する最近のLinuxカーネルのパッチ5,140のうち111つを、手作業による検証によって90の正の正が確認された。
論文参考訳（メタデータ） (2025-09-26T18:06:36Z)
VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文参考訳（メタデータ） (2025-09-15T02:25:38Z)
Multi-context Attention Fusion Neural Network for Software Vulnerability Identification [4.05739885420409]
ソースコードのセキュリティ脆弱性の共通カテゴリのいくつかを効率的に検出することを学ぶディープラーニングモデルを提案する。モデルは、学習可能なパラメータの少ないコードセマンティクスの正確な理解を構築します。提案したAIは、ベンチマークされたNIST SARDデータセットから特定のCWEに対して98.40%のF1スコアを達成する。
論文参考訳（メタデータ） (2021-04-19T11:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。