論文の概要: Chasing the Public Score: User Pressure and Evaluation Exploitation in Coding Agent Workflows

• arxiv url: http://arxiv.org/abs/2604.20200v1
• Date: Wed, 22 Apr 2026 05:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.975768
• Title: Chasing the Public Score: User Pressure and Evaluation Exploitation in Coding Agent Workflows
• Title（参考訳）: 公開スコア:コーディングエージェントワークフローにおけるユーザプレッシャと評価の爆発
• Authors: Hardy Chen, Nancy Lau, Haoqin Tu, Shuo Yan, Xiangyan Liu, Zijun Wang, Juncheng Wu, Michael Qizhe Shieh, Alvaro A. Cardenas, Cihang Xie, Yuyin Zhou,
• Abstract要約: 我々は,そのスコアを改善するための複数ラウンドのユーザプレッシャーが,公的なスコアの活用を誘発するかどうかを検討する。 より強いモデルは高いエクスプロイト率を持ち、スピアマンのランク相関は 0.77 である。 緩和策として、明示的な反エクスプロイトを即時追加することで、主に搾取(100%から8.3%)を排除している。
• 参考スコア（独自算出の注目度）: 42.5372452852831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier coding agents are increasingly used in workflows where users supervise progress primarily through repeated improvement of a public score, namely the reported score on a public evaluation file with labels in the workspace, rather than through direct inspection of the agent's intermediate outputs. We study whether multi-round user pressure to improve that score induces public score exploitation: behavior that raises the public score through shortcuts without improving hidden private evaluation. We begin with a preliminary single-script tabular classification task, where GPT-5.4 and Claude Opus 4.6 both exploit label information within 10 rounds of user-agent interaction. We then build AgentPressureBench, a 34-task machine-learning repository benchmark spanning three input modalities, and collect 1326 multi-round trajectories from 13 coding agents. On our benchmark, we observe 403 exploitative runs, spanning across all tasks. We also find that stronger models have higher exploitation rates, supported by a significant Spearman rank correlation of 0.77. Our ablation experiments show that higher user pressure leads to earlier exploitation, reducing the average first exploit round by 15.6 rounds (i.e., 19.67 to 4.08). As a mitigation, adding explicit anti-exploit wordings in prompt mostly eliminates exploitation (100% to 8.3%). We hope that our work can bring attention to more careful use of coding agents workflow, and developing more robust coding agents under user pressure. Our project page is at https://ucsc-vlaa.github.io/AgentPressureBench .
• Abstract（参考訳）: 最前線のコーディングエージェントは、ユーザーが主に公開スコアの改善を繰り返して進捗を監督するワークフロー、すなわち、エージェントの中間出力を直接検査するよりむしろ、ワークスペースにラベルを付けた公開評価ファイルの報告されたスコアで使用される。 本研究では、そのスコアを改善するための複数ラウンドのユーザプレッシャーが、公開スコアの活用を誘発するかどうかを検討する。 GPT-5.4とClaude Opus 4.6はどちらも10ラウンド以内のユーザエージェントインタラクションでラベル情報を利用する。 次に、34タスクの機械学習レポジトリベンチマークであるAgentPressureBenchを構築し、13のコーディングエージェントから1326のマルチラウンドトラジェクトリを収集します。 ベンチマークでは、すべてのタスクにまたがる403のエクスプロイト実行を観察しました。 また、より強力なモデルはより高いエクスプロイト率を持ち、スピアマンのランク相関は0.77である。 当社のアブレーション実験では、ユーザプレッシャーの上昇が早期のエクスプロイトにつながることが示され、平均的な最初のエクスプロイトラウンドを15.6ラウンド(19.67から4.08)削減した。 緩和策として、明示的な反エクスロイトの言葉を即座に追加することで、主に搾取(100%から8.3%)を排除している。 当社の作業は、コーディングエージェントワークフローのより慎重な使用や、ユーザのプレッシャーの下でより堅牢なコーディングエージェントの開発に注意を向けられることを期待しています。 私たちのプロジェクトページはhttps://ucsc-vlaa.github.io/AgentPressureBench です。

関連論文リスト

• SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
  SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。 現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
  論文  参考訳（メタデータ） (2026-04-22T17:08:19Z)
• Reliability of AI Bots Footprints in GitHub Actions CI/CD Workflows [2.283561089098417]
  継続的インテグレーションとデプロイメント(CI/CD)は、現代のソフトウェアデリバリの中心であるが、エージェントAIボットの信頼性はいまだ調査されていない。 AIDevデータセットからプルリクエスト(PR)、コミット、リポジトリを使用して、関連するCI/CDワークフローをGitHub API経由で検索しました。 Claude、Devin、Cursor、Copilot、Codexの5つのAIボットが生成したPRによって起動された2,355リポジトリから61,837回の実行を分析した。
  論文  参考訳（メタデータ） (2026-04-20T14:34:14Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Multi-Agent Code Verification with Compound Vulnerability Detection [0.0]
  既存のツールはバグの65%しかキャッチできず、35%が偽陽性である。 CodeX-Verifyは4つの特殊なエージェントを使って異なるタイプのバグを検出するマルチエージェントシステムです。
  論文  参考訳（メタデータ） (2025-11-20T03:40:27Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
  コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-17T17:59:31Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)
• Let the Trial Begin: A Mock-Court Approach to Vulnerability Detection using LLM-Based Agents [10.378745306569053]
  VulTrialは、自動脆弱性検出を強化するために設計された法廷インスパイアされたフレームワークである。 セキュリティ研究者、コード作者、モデレーター、レビューボードの4つの役割専門エージェントを雇用している。 GPT-3.5とGPT-4oを使用して、VulTrialはそれぞれのベースラインに対して102.39%、84.17%の性能を向上させる。
  論文  参考訳（メタデータ） (2025-05-16T07:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。