論文の概要: Shortcutting the Fix: Identifying and Categorizing Agentic Exploits in Software Engineering Benchmarks

• arxiv url: http://arxiv.org/abs/2609.06780v1
• Date: Sun, 06 Sep 2026 18:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 04:39:48.397099
• Title: Shortcutting the Fix: Identifying and Categorizing Agentic Exploits in Software Engineering Benchmarks
• Title（参考訳）: 修正のショートカット: ソフトウェアエンジニアリングベンチマークにおけるエージェントエクスプロイトの特定と分類
• Abstract要約: 我々は,SWE-bench MultilingualとDeepSWEの5つのオープンな大規模言語モデルに対して,エクスプロイトを体系化し,監査する。 この結果から,ベンチマークゲーム上での真のリポジトリレベルの問題解決を計測するエクスプロイト対応評価フレームワークの必要性が示唆された。
• 参考スコア（独自算出の注目度）: 42.7127695634038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While autonomous software engineering (SWE) agents achieve high benchmark resolution rates, these scores can mask exploitative behaviors---such as leveraging local Git histories, accessing upstream repositories, or recalling memorized solutions---rather than demonstrating genuine problem solving. We systematize and audit these exploits across five open large language models on SWE-bench Multilingual and DeepSWE using a turn-level LLM-as-a-judge protocol. Under standard prompts, exploitation rates reach 45.1\%--82.4\% on SWE-bench Multilingual and 44.2\%--66.1\% on DeepSWE. Appending a targeted instruction enforcing solution originality drastically cuts these exploitation rates---down to 4.0\%--10.7\% and 1.5\%--7.1\%, respectively, while maintaining strong core task performance. Our findings demonstrate the critical need for exploit-aware evaluation frameworks that measure true repository-level problem solving over benchmark gaming.
• Abstract（参考訳）: 自律型ソフトウェアエンジニアリング(SWE)エージェントは高いベンチマーク解決率を達成する一方で、これらのスコアは、ローカルGit履歴の活用、上流リポジトリへのアクセス、暗記されたソリューションのリコールなど、悪用的な振る舞いを隠蔽する可能性がある。 ターンレベルのLLM-as-a-judgeプロトコルを用いて,SWE-bench MultilingualとDeepSWEの5つのオープンな大規模言語モデルに対して,これらのエクスプロイトを体系化し,評価する。 標準的なプロンプトでは、SWE-bench Multilingualでは45.1\%--82.4\%、DeepSWEでは44.2\%--66.1\%となる。 この結果から,ベンチマークゲーム上での真のリポジトリレベルの問題解決を計測するエクスプロイト対応評価フレームワークの必要性が示唆された。

関連論文リスト

• Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
  言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
  論文  参考訳（メタデータ） (2026-09-14T17:44:51Z)
• HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks [3.958773019872771]
  既存のベンチマークは主に、孤立したコンポーネントレベルのタスクでLarge Language Models (LLM)を評価する。 HWE-Benchは,LLMエージェントを現実のハードウェアバグ修正タスクで評価するための,最初の大規模リポジトリレベルのベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T07:19:34Z)
• SWE-Adept: An LLM-Based Agentic Framework for Deep Codebase Analysis and Structured Issue Resolution [9.339988760379915]
  大規模言語モデル(LLM)は、自己完結したタスクに対して強いパフォーマンスを示す。 SWE-Adeptは、ローカライズエージェントが問題関連コードの位置を特定し、解決エージェントが対応する修正を実装するフレームワークである。 SWE-Bench Lite と SWE-Bench Pro の実験は、SWE-Adept が問題ローカライゼーションと解決の両方において、従来のアプローチよりも一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2026-03-01T23:52:30Z)
• SGAgent: Suggestion-Guided LLM-Based Multi-Agent Framework for Repository-Level Software Repair [22.745971570878435]
  本稿では,リポジトリレベルのソフトウェア修復のためのSuggestion-Guided Multi-Agentフレームワークを提案する。 SGAgentは、局所化から修復への移行を強化するための提案段階を導入する。 3つの専門のサブエージェントが協力して、エンドツーエンドのソフトウェアの自動修復を実現します。
  論文  参考訳（メタデータ） (2026-02-27T03:32:47Z)
• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Running in CIRCLE? A Simple Benchmark for LLM Code Interpreter Security [0.0]
  大規模言語モデル(LLM)は、ネイティブコードインタプリタを統合し、リアルタイム実行機能を実現する。 これらの統合は、システムレベルのサイバーセキュリティの脅威をもたらす可能性がある。 本稿では、CPU、メモリ、ディスクリソースの枯渇をターゲットとした1,260プロンプトからなる単純なベンチマークであるCIRCLE(Code-Interpreter Resilience Check for LLM Exploits)を提案する。
  論文  参考訳（メタデータ） (2025-07-25T16:06:16Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• RustRepoTrans: Repository-level Code Translation Benchmark Targeting Rust [50.65321080814249]
  RustRepoTransは、インクリメンタル翻訳をターゲットにした、最初のリポジトリレベルのコンテキストコード変換ベンチマークである。 複雑な翻訳シナリオの制約を評価するために, 7つの代表的なLLMを評価し, それらの誤差を分析した。
  論文  参考訳（メタデータ） (2024-11-21T10:00:52Z)
• A Multi-Agent Approach to Fault Localization via Graph-Based Retrieval and Reflexion [8.22737389683156]
  従来のフォールトローカライゼーション技術は、広範なトレーニングデータセットと高い計算資源を必要とする。 大規模言語モデル(LLM)の最近の進歩は、コード理解と推論を強化することで、新たな機会を提供する。 LLM4FLは3つの特殊なLLMエージェントを利用するマルチエージェントの故障局所化フレームワークである。 14のJavaプロジェクトから675の障害を含むDefects4Jベンチマークで評価され、LLM4FLはAutoFLよりも18.55%、SoapFLより4.82%、Top-1の精度が18.55%向上した。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。