論文の概要: SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries

• arxiv url: http://arxiv.org/abs/2608.12654v1
• Date: Wed, 12 Aug 2026 23:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.344639
• Title: SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries
• Title（参考訳）: SteerBench-Work:アクション境界におけるエージェントステアリングのベンチマーク
• Abstract要約: SteerBench-Workは、職場エージェントによる意思決定のための、インシデント対応のベンチマークだ。 リリースされたv2026-05には、公開インシデントに固定された106のシナリオ、ペアのエビデンス反転ミラー、キャリブレーション制御が含まれている。 モデルは提案された行動と利用可能な証拠を見て、ゲート決定を返し、それが境界を正しく越えるか、保持するかを判断する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-running LLM agents act through tools, and a single step can send an email, merge a pull request, or wire a payment. The steering decision is the pre-commit choice at that boundary: proceed, or hold for human or policy review. We introduce SteerBench-Work, an incident-anchored, bidirectional benchmark for that decision in workplace agents across developer operations, customer service, finance, legal, medical, HR, and security. Release v2026-05 contains 106 scenarios anchored in public incidents, paired evidence-reversed mirrors, and calibration controls, with labels split nearly evenly between proceed and hold so the two error directions get near-identical numbers of chances. A model sees the proposed action and the available evidence, returns a gate decision, and is scored on whether it crosses or holds the boundary correctly. Across 30 model conditions the failures run almost entirely in one direction: models wrongly hold authorized, evidence-cleared work on 28.1% of opportunities and wrongly allow unsafe work on 1.0%. The hardest cases are risk-resolved commits, where signed or structured evidence has already cleared a real risk trigger, and models score markedly worse on evidence-reversed mirrors of famous incidents (63.8%) than on the incidents themselves (98.5%). General capability is not the same as steering calibration: higher-capability models often over-refuse at the commit boundary, and more reasoning can repair a weak gate while leaving a calibrated one flat. The public leaderboard is at steerbench.com.
• Abstract（参考訳）: 長期にわたるLLMエージェントはツールを通じて動作し、ひとつのステップで電子メールを送信したり、プルリクエストをマージしたり、支払いを結び付けることができる。 ステアリングの決定は、その境界における事前コミットの選択である。 我々はSteerBench-Workを紹介します。これは、開発者オペレーション、カスタマーサービス、ファイナンス、法務、医療、人事、セキュリティを含む、職場エージェントの意思決定のための、インシデント対応の双方向ベンチマークです。 リリース v2026-05 には、公開インシデントに固定された106のシナリオ、ペアのエビデンス反転ミラー、キャリブレーション制御が含まれており、ラベルは進行と保持の間にほぼ均等に分割され、2つのエラー方向がほぼ同一の確率になる。 モデルは提案された行動と利用可能な証拠を見て、ゲート決定を返し、それが境界を正しく越えるか、保持するかを判断する。 モデルが不正に認証され、証拠が明確化された28.1%の機会での作業と、1.0%の安全でない作業の不正な許可である。 最も難しいケースはリスク解決のコミットであり、署名された証拠や構造化された証拠が既に真のリスクトリガーをクリアしており、有名な事件の鏡(63.8%)のモデルが、事件そのもの(98.5%)よりも著しく悪化している。 一般的な能力はステアリングキャリブレーションと同じではない: 高機能モデルはコミット境界でしばしば過剰に再利用され、より多くの推論はキャリブレーションされた1つのフラットを残しながら弱いゲートを修復することができる。 公共のリーダーボードはsteerbench.comにあります。

関連論文リスト

• Engineering Reliable Commit Gates for Agentic AI: Cost-Aware Verification Portfolios under Common-Mode Data Failures [4.287745257410248]
  コスト対応コミットゲートのランタイム保証ベンチマークを提案する。 48のタスクテンプレートは、6つの障害レジームで2,880のシナリオを生成する。 結果は明確なエビデンスライン、コストアウェアの選択、コミットタイムの実施を動機付けます。
  論文  参考訳（メタデータ） (2026-09-10T01:42:40Z)
• Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
  本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
  論文  参考訳（メタデータ） (2026-09-01T09:08:15Z)
• Governance at the Boundary: How Agent Decomposition Degrades Policy Compliance [6.411104724993454]
  金融エージェントの統治可能性のベンチマークであるFiducia-benchを紹介します。 エージェントは、そのガバナンスを劣化させるのか? あるコンポーネントによって発見されたポリシー関連事実は、それらに作用しなければならないコンポーネントに到達する前に、ハンドオフ境界で減衰される。
  論文  参考訳（メタデータ） (2026-08-17T03:31:59Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
  アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。 ループの端から端までを計測し、経験的検証器混同行列を生成する。
  論文  参考訳（メタデータ） (2026-07-19T03:20:33Z)
• From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents [0.24554686192257424]
  製品化は、ソースバウンダリ、エンティティルーティング、回答コントラクト、再現可能なトレースの要件を追加します。 本稿では,このパターンをトレース可能な監査可能なLLMエージェントアーキテクチャに再構成するハーネスエンジニアリング手法を提案する。 韓国の5つの企業グループの公開データスライスでインスタンス化し、3つの研究課題を評価する。
  論文  参考訳（メタデータ） (2026-07-09T01:08:33Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures [0.0]
  Causal Agent Replay (CAR) は、エージェントが構造的因果モデルとして実行されることをモデル化する。 ステップにダブルオペレーションを適用し、同じポリシーの下で軌道を再実行します。 CARはオープンソースで、ホストまたはフリーのローカルモデルで動作する。
  論文  参考訳（メタデータ） (2026-06-06T17:44:23Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation [12.294365308421606]
  我々は、議論のアウトプットを調整された行動逆エスカレート決定に変換する、ポストホックな意思決定層であるConformal Social Choiceを紹介する。 階層的なアクションポリシーは、シングルトンセットを自律的なアクションにマップし、より大きなセットを人間のエスカレーションにマップする。 この層は議論が確実に間違っている場合に作用しないため、残りの共形シングルトンは90.0--96.8%の精度に達する。
  論文  参考訳（メタデータ） (2026-04-09T00:15:20Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。