論文の概要: SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents

• arxiv url: http://arxiv.org/abs/2610.18206v1
• Date: Tue, 13 Oct 2026 11:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:49:33.717219
• Title: SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents
• Title（参考訳）: SWE-MISBEHAVIOR:ソフトウェアコーディングエージェントにおける境界振動のベンチマークと緩和
• Abstract要約: SWE-MISBEHAVIORは,コーディングエージェントにおける境界違反の誤動作を診断するための最初の分類・評価フレームワークである。 SWE-MISBEHAVIORは、完全に自動化された評価プロトコルで11の異なる振る舞いをカバーしている。 CODE-KITは,誤動作を意識したガイドラインと,エージェントがそのような障害を避けるための新しいツールを組み合わせた,軽量適応型フレームワークである。
• 参考スコア（独自算出の注目度）: 98.61266339928044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SWE-MISBEHAVIOR, the first taxonomy and evaluation framework for diagnosing boundary-violating misbehaviors in coding agents. It contains 7.4K human-in-the-loop synthesized samples spanning three layers of agent action space: (i) Code Generation, (ii) File Management, and (iii) System Interaction. Across these categories, SWE-MISBEHAVIOR covers 11 distinct misbehaviors with a fully automated evaluation protocol, including coding-action violations, Create/Read/Update/Delete (CRUD) file misbehaviors, system integrity and abuse violations, and task-goal misalignment. Experiments on state-of-the-art open-source coding agents (e.g., OpenHands, smolagents) reveal substantial misaligned behaviors, including dependency misinterpretation (up to 98.5% of cases), unintended modification of user inputs (50.5%), and silent compromise of environment integrity (53%). Motivated by these findings, we further propose CODE-KIT, a lightweight adaptive framework that combines misbehavior-aware guidelines with novel tools to help agents avoid such failures. CODE-KIT reduces misbehaviors by 52% for smolagents and 34% for OpenHands, while simultaneously improving task completion performance.
• Abstract（参考訳）: SWE-MISBEHAVIORは,コーディングエージェントにおける境界違反の誤動作を診断するための最初の分類・評価フレームワークである。 3層のエージェント・アクション・スペースにまたがる7.4Kのヒト・イン・ザ・ループ合成サンプルを含む。 (i)コード生成 (二)ファイル管理、及び (3)システムインタラクション。 これらのカテゴリ全体で、SWE-MISBEHAVIORは、コーディング・アクション違反、Create/Read/Update/Delete(CRUD)ファイルの不正行為、システムの完全性と不正使用の違反、タスク・ゴールの不正調整を含む、完全に自動化された評価プロトコルを備えた11の異なる不正行為をカバーしている。 最先端のオープンソースコーディングエージェント(例えば、OpenHands、smolagents)の実験では、依存性の誤解釈(98.5%のケース)、意図しないユーザ入力の変更(50.5%)、環境の完全性(53%)など、かなり不一致な動作が示されている。 これらの知見に触発されたCODE-KITは、誤動作認識ガイドラインと、エージェントがそのような障害を避けるのに役立つ新しいツールを組み合わせた軽量適応フレームワークである。 CODE-KITは、スモラガントを52%、OpenHandsを34%、タスク完了性能を同時に改善する。

関連論文リスト

• SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
  コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。 操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。 SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
  論文  参考訳（メタデータ） (2026-08-31T03:39:43Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• When Passing Tests Hides Vulnerabilities: An Empirical Study of Silent Failures in Agentic Systems [4.495819148271923]
  サイレント障害の3つの主要なカテゴリは、許可、導入、不適切である。 10のきめ細かい障害コードはこれらの3つのカテゴリに分類され、どのようにエージェントがセキュリティ制御を省略するかを示している。 同様の安全でないソリューションは、さまざまなフレームワークにまたがって現れ、モデル、プロンプト、タスクレベルの影響を共有できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-25T10:37:21Z)
• MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
  コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。 199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。 9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
  論文  参考訳（メタデータ） (2026-05-05T16:38:23Z)
• TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
  コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。 本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。 我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
  論文  参考訳（メタデータ） (2026-03-25T05:27:03Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• DepRadar: Agentic Coordination for Context Aware Defect Impact Analysis in Deep Learning Libraries [12.07621297131295]
  DepRadarは、DLライブラリのアップデートにおけるきめ細かい欠陥と影響分析のためのエージェント調整フレームワークである。 静的解析とDL固有のドメインルールを統合し、欠陥推論とクライアント側のトレースを行う。 122のクライアントプログラムにおいて、DepRadarは90%のリコールと80%の精度で影響を受けるケースを特定し、他のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-14T12:41:39Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。