論文の概要: What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents

• arxiv url: http://arxiv.org/abs/2610.14477v1
• Date: Sat, 10 Oct 2026 02:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.056008
• Title: What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents
• Title（参考訳）: ツール使用エージェントのロバスト性評価のための実行可能契約
• Abstract要約: 多くの評価は弱い規則で決定する。 契約は、どの事実がタスクを定義し、どの編集が許可され、タスクが完了するかを記述する。 同一の14,336個の格納されたエージェントを各ルールで比較する。
• 参考スコア（独自算出の注目度）: 4.920234461448995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness tests for tool-using agents often change the agent's environment, for example by hiding a hostile note in an invoice, and then judge the agent by what it does. The result tells us about the original task only if the changed test case is still a valid test of that task. Many evaluations decide this with weak rules, such as accepting any well-formed edit or any edit that stays close to the original in embedding space. We propose executable task contracts. A contract states which facts define a task, which edits are allowed, and what finishing the task means, and it checks each changed test case before the agent runs. We compare validity rules by scoring the same 14,336 stored agent runs under each rule. Across four encoders, embedding thresholds allowed 75-100% of edits that changed the task, such as swapping the payee, yet rejected 24-45% of valid hostile notes. With a MiniLM cosine threshold, Mistral appeared vulnerable on all 64 tasks, but only 26 had a successful valid attack. Replaying a saved solution and allowing edits to benchmark fields fail in similar ways. Evaluations should state, and check, what counts as the same task.
• Abstract（参考訳）: ツール使用エージェントのロバストネステストは、例えば、請求書に敵対的なメモを隠して、エージェントが何をするかを判断することで、エージェントの環境を変えることが多い。 その結果、変更されたテストケースがそのタスクの有効なテストである場合に限り、元のタスクについて教えてくれます。 多くの評価では、よく整った編集の受け入れや、オリジナルの埋め込みスペースに近い編集など、弱いルールでこれを決定している。 実行可能なタスク契約を提案する。 契約は、どの事実がタスクを定義し、どの編集が許可され、タスクが完了するかを定義し、エージェントが実行する前に変更したテストケースをチェックする。 同一の14,336個の格納されたエージェントを各ルールで比較する。 4つのエンコーダ全体で、埋め込みしきい値によって、給与を交換するなどタスクを変更した編集の75-100%が可能になったが、有効な敵対的メモの24-45%は拒否された。 MistralはMiniLMのコサインしきい値で64のタスクすべてに対して脆弱に見えたが、有効な攻撃に成功したのは26機のみであった。 保存されたソリューションをリプレイし、ベンチマークフィールドへの編集が同じように失敗する。 評価は、同じタスクとして数えられるものを記述し、確認するべきです。

関連論文リスト

• TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation [0.5837881923712392]
  本稿では,判定から検査可能な診断へスコア変更を行うプロトコルであるTRACEを紹介する。 25の合成タスクの制御スイートでは、まったく同じ操作をしても、リネームツールはスクリプトされたエージェントのスコアを0.250下げる。 88の新しいタスクのフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツールのアウトプットが8つのエージェント-チェンジペアのうち7つに対して$pm$0.10以内の報酬に変化しない。
  論文  参考訳（メタデータ） (2026-10-08T10:52:26Z)
• A Trust Layer for Agent Evaluation [0.0]
  エージェント評価のための信頼層(Trust Layer for Agent Evaluation)は、各スコアの横に、それを信じるべきかを報告します。 結果がベンチマーク自身のグレーディングロジックによってサポートされているかどうか、パス回答がトレーサブルによって得られたかどうか、エージェントの完了クレームが何が起きたかに一致しているか、そして繰り返し実行時に結果が安定であるかどうか、の4つの特性を検証する。
  論文  参考訳（メタデータ） (2026-10-05T19:15:37Z)
• Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
  34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。 注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。 さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
  論文  参考訳（メタデータ） (2026-09-29T11:50:55Z)
• CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
  CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。 共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。 9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。 最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
  論文  参考訳（メタデータ） (2026-09-27T17:59:31Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
  大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。 彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。 タスク対応型実行-スコープ推定の欠如を論じる。
  論文  参考訳（メタデータ） (2026-07-14T17:59:31Z)
• Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work [0.0]
  以前の作業では、タスク、権限、返却された作業パッケージ、受け入れコンテキストを、委譲されたコーディング作業の分析単位として記述するソフトウェア委譲契約を提案したが、その効果は測定しなかった。 本稿では,符号化エージェントの明示的デリゲート契約に関する制御されたパイロット研究について報告する。
  論文  参考訳（メタデータ） (2026-06-14T05:53:27Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。