論文の概要: From Verdict to Diagnosis: Attributable Security Review of Pull Requests

• arxiv url: http://arxiv.org/abs/2608.25730v1
• Date: Wed, 26 Aug 2026 12:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.825351
• Title: From Verdict to Diagnosis: Attributable Security Review of Pull Requests
• Title（参考訳）: 判断から診断へ:プルリクエストの属性可能なセキュリティレビュー
• Abstract要約: 自動コードレビュアは、プルリクエスト(PR)のゲートとしてますます使われています。 しかし、評価は悪意のある変更をブロックするかどうかを測定する。 89個の悪意のあるPRと50個のペアの良性制御のメカニズム基底ベンチマークであるMalPR-Benchを提案する。
• 参考スコア（独自算出の注目度）: 37.704472942055126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated code reviewers are increasingly used as gates on pull requests (PRs), yet evaluations measure whether they block a malicious change. A block may be triggered by an unrelated issue rather than the vulnerability that makes the PR unsafe; fixing the reported issue can leave the target defect exploitable. We call this discrepancy the Verdict-Diagnosis (VD) gap. We present MalPR-Bench, a mechanism-grounded benchmark of 89 malicious PRs and 50 paired benign controls across 44 repositories and eight language families. Each malicious case has a pre-committed rubric specifying the target vulnerability, accepted mechanism descriptions, required repository evidence, and off-target findings receiving no credit. Reviews are scored separately for verdict correctness, target-vulnerability identification, and evidence validation; an attributable block requires all three. We introduce PRGuard, an attributable PR security reviewer that constructs candidate vulnerabilities and validates their premises against repository evidence using deterministic, non-executing tools and bounded retrieval. Across 31 common-coverage held-out malicious PRs, PRGuard and CodeRabbit produce similar blocking totals (22/31 vs. 24/31), but PRGuard identifies 22 target vulnerabilities versus 16 for CodeRabbit, a 1.38x difference. On 14 absence-type cases, both block 9, while PRGuard identifies 9 targets versus 3. CodeRabbit identifies 16/24 targets when required evidence lies within touched files and 0/7 when validation requires evidence outside them. Finally, PRGuard uncovers twelve previously undisclosed, proof-of-concept-backed vulnerabilities across five projects. PRGuard/DeepSeek and CodeRabbit both block 10/12 discovery PRs, but produce 10/12 and 4/12 attributable blocks, respectively. Thus, verdict-only evaluation can substantially overstate the security value of automated review.
• Abstract（参考訳）: 自動コードレビュアはプルリクエスト(PR)のゲートとして使われることが多いが、評価は悪意のある変更をブロックするかどうかを測定する。 ブロックはPRが安全でない脆弱性ではなく、無関係な問題によって引き起こされる可能性がある。 私たちはこの不一致をVerdict-Diagnosis (VD) gapと呼んでいる。 MalPR-Benchは、89の悪意のあるPRと、44のリポジトリと8つの言語ファミリーにわたる50のペアの良性制御のメカニズム基底ベンチマークである。 悪意のある各ケースには、ターゲットの脆弱性、承認されたメカニズムの説明、必要なリポジトリ証拠、クレジットを受けないターゲット外の発見を指定した、事前にコミットされたルーリックがある。 レビューは、検証の正確性、ターゲット-脆弱性の識別、証拠の検証のために別々に行われ、帰属可能なブロックは3つすべてを必要とする。 我々はPRGuardを紹介した。PRGuardは、候補の脆弱性を構築し、決定論的非実行ツールと有界検索を用いて、リポジトリのエビデンスに対してその前提を検証する、帰属的なPRセキュリティレビュアーである。 31の共通カバレッジを持つ悪意のあるPRのうち、PRGuardとCodeRabbitは同様のブロッキングの合計(22/31対24/31)を生成するが、PRGuardは22のターゲット脆弱性をCodeRabbitの16に対して識別し、その差は1.38倍である。 いずれもブロック9であり、PRGuardは9つのターゲットを3に対して識別する。 CodeRabbitは、必要なエビデンスがタッチされたファイル内にある場合の16/24ターゲットと、その外でエビデンスが必要な場合の0/7を識別する。 最後に、PRGuardは5つのプロジェクトにわたって、これまで公表されていなかった、概念実証支援の脆弱性を12つ明らかにした。 PRGuard/DeepSeek と CodeRabbit はどちらも 10/12 の発見 PR をブロックするが、それぞれ 10/12 と 4/12 の帰属ブロックを生成する。 したがって、判断のみの評価は、自動レビューのセキュリティ価値を大幅に上書きすることができる。

関連論文リスト

• MaliciousSkillBench: A Comprehensive Benchmark for Malicious Agent Skill Detection [24.37473229751569]
  MaliciousSkillBenchは、悪意のあるエージェントスキル検出のための包括的なベンチマークである。 我々は13の公開ソースを統合し、そのうち11つはCoreの悪意のあるアーティファクトに貢献し、8,414の生の悪意のあるレコードを7,539の正規化されたユニクティックIDに減らした。 そして、3つの学習されたテキスト検出器と3つの既製のスキルスキャナを評価した。
  論文  参考訳（メタデータ） (2026-08-20T11:13:00Z)
• Stealing Reasoning Traces from Proprietary LLM APIs [84.58379404903394]
  我々は、暗号化された推論トレースのためのスケーラブルな復号化ジェイルブレイクを開発する。 抗蒸留機構を回避し、敵がプロプライエタリなモデルの推論を抽出できるようにする。 それは必然的に、推論プロセス内に隠された有害な情報を明らかにします。
  論文  参考訳（メタデータ） (2026-08-10T17:24:50Z)
• SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents [21.409263140916327]
  大規模言語モデル (LLM) レビュアーはプルリクエスト (PR) においてますます使われている。 これにより、静的な脆弱性検出やコード生成のベンチマークが対処しないという疑問が持ち上がる。 自動レビュアーがそのようなプルリクエストを承認する頻度を測定するベンチマークであるSEVRA-BENCHを紹介する。
  論文  参考訳（メタデータ） (2026-06-11T16:35:56Z)
• RecurGuard: Runtime Monitoring for Reasoning-Token Consumption Attacks [0.0]
  推論可能な大言語モデルは、ユーザの質問に答えるのではなく、注入されたデコイタスクに世代予算を費やすように誘導することができる。 RecurGuardは、推論チェーンの消費攻撃を検出するランタイムモニタです。
  論文  参考訳（メタデータ） (2026-06-06T03:52:27Z)
• Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
  SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。 RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。 Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
  論文  参考訳（メタデータ） (2026-04-29T09:57:07Z)
• Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
  本稿では,OpenClawの安全性評価について紹介する。 エージェントの永続状態を3次元に統一するCIK分類法を導入する。 評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
  論文  参考訳（メタデータ） (2026-04-06T15:27:05Z)
• Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
  敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。 複雑な敵戦略は単純な操作的コメントに勝るものではない。 コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
  論文  参考訳（メタデータ） (2026-02-18T00:34:17Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
  推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。 攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
  論文  参考訳（メタデータ） (2025-10-13T16:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。