論文の概要: PRWeaver: Evaluating LLM-Based Code Auditors against Long-Horizon Malicious Pull Requests
- arxiv url: http://arxiv.org/abs/2608.02693v1
- Date: Mon, 03 Aug 2026 10:05:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 07:04:20.671843
- Title: PRWeaver: Evaluating LLM-Based Code Auditors against Long-Horizon Malicious Pull Requests
- Title（参考訳）: PRWeaver:LLMベースのコードオーディタの長距離不正プルリクエストに対する評価
- Abstract要約: PRWeaverは、実世界の10のリポジトリから208回の実行検証された攻撃のベンチマークである。
我々は,6つのオーディショニング・モデル・システムにまたがる3つのPR聴取エージェントを評価した。
- 参考スコア（独自算出の注目度）: 17.88506808524206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based code auditors are increasingly integrated into pull-request (PR) workflows, yet their reliability against adversarial changes distributed across repository evolution remains poorly understood. We introduce PRWeaver, a benchmark of 208 execution-validated attacks from ten real-world repositories, each instantiated under four matched review renderings (832 renderings in total). We evaluate three PR-auditing agents across six auditor-model systems. Across all systems, decomposing an attack changes detection by at most five percentage points, showing that commit boundaries alone do not explain evasion. In contrast, per-PR interleaving at $N=16$ and coherent carrier fusion reduce detection by 5-13 and 10-18 points, respectively. Under whole-window review at $N=24$, detection falls to 16-22%, compared with 50-60% under per-PR review. These results show that access to repository history is insufficient: concealment becomes most effective when benign and malicious changes jointly occupy the auditor's active review context or when the stated purpose plausibly accounts for the attack-bearing diff.
- Abstract（参考訳）: LLMベースのコード監査は、ますますプルリクエスト(PR)ワークフローに統合されているが、リポジトリの進化にまたがる敵対的な変更に対する信頼性は、まだよく分かっていない。
PRWeaverは,実世界の10のレポジトリから208回の実行検証攻撃のベンチマークであり,それぞれが一致した4つのレビューレンダリング(合計832のレンダリング)に基づいてインスタンス化されている。
我々は,6つのオーディショニング・モデル・システムにまたがる3つのPR聴取エージェントを評価した。
すべてのシステムにおいて、攻撃を分解することで、少なくとも5ポイントの検知が変更され、コミット境界だけでは回避を説明できないことが示される。
対照的に、PR毎のインターリービングはN=16$で、コヒーレントキャリア融合は5-13点と10-18点の検出を減少させる。
N=24$のウィンドウ全体のレビューでは、検出は16-22%、PR毎のレビューでは50-60%となる。
これらの結果は,レポジトリ履歴へのアクセスが不十分であることを示している: 不正かつ悪意のある変更が監査人のアクティブなレビューコンテキストを共同で占める場合や,指示された目的がアタック・ベアリング・ディフを確実に考慮する場合,隠蔽が最も効果的になる。
関連論文リスト
- Code-Centric Detection of Vulnerability-Fixing Commits: A Unified Benchmark and Empirical Study [4.512751676075442]
本稿では,統合フレームワークによる言語モデルに基づくVFC検出の包括的評価を行う。
コードの変更だけで、モデルが転送可能なセキュリティ関連コードを理解する証拠は見つからない。
グループ階層評価は、ランダムスプリットに比べて約17%のパフォーマンス低下を露呈する。
論文 参考訳（メタデータ） (2026-05-13T08:05:14Z) - FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM Fine-tuning [58.80511162314259]
我々はフェデレート学習のための新しいクライアントレベルの属性プロトコルであるFedAttrを提案する。
FedAttrは、ペア化されたサブセット差分メカニズムを通じて、ウォーターマークされたデータでトレーニングされたクライアントを特定する。
100%のTPRと0%のFPRを達成し、TPRでは少なくとも44.4%、FPRでは19.1%を上回り、FLトレーニング時間に比べて6.3%のオーバーヘッドしか残っていない。
論文 参考訳（メタデータ） (2026-05-07T17:21:02Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳（メタデータ） (2026-05-05T16:38:23Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳（メタデータ） (2026-03-19T10:40:27Z) - Adversarial Intent is a Latent Variable: Stateful Trust Inference for Securing Multimodal Agentic RAG [5.4716896485317195]
マルチモーダルエージェントRAGに対する現在のステートレスディフェンスは、悪意のあるセマンティクスを配布する敵の戦略を検出するのに失敗する。
MMA-RAGTは,MTA (Modular Trust Agent) が管理する推定時制御フレームワークで,ほぼ信頼状態を維持している。
論文 参考訳（メタデータ） (2026-02-24T23:52:27Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - TRUST: A Decentralized Framework for Auditing Large Language Model Reasoning [45.228233498964755]
大規模言語モデルは、意思決定を明らかにする推論チェーンを生成する。
既存の監査手法は集中的で、不透明で、スケールが難しい。
透明で分散化された監査フレームワークであるTRUSTを提案する。
論文 参考訳（メタデータ） (2025-10-23T04:16:44Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。