論文の概要: PartHackBench: Certified Equal-Progress Stress Tests for Partial-Credit Tool-Agent Evaluation

• arxiv url: http://arxiv.org/abs/2609.29578v1
• Date: Thu, 27 Aug 2026 07:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.078897
• Title: PartHackBench: Certified Equal-Progress Stress Tests for Partial-Credit Tool-Agent Evaluation
• Title（参考訳）: PartHackBench: 部分的クレディットツール評価のためのエクストリームストレステストの認定
• Abstract要約: ロングホライゾン・ツール・エージェントは終端的な成功に至らずに有用な進歩を遂げることが多い。 評価者は、一時的に、後に逆転したマイルストーンを報奨することができる。 私たちは、この矛盾を取り除く制御された方法論であるPartHackBenchを紹介します。
• 参考スコア（独自算出の注目度）: 2.007262412327553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon tool agents often make useful progress without reaching terminal success, motivating partial-credit evaluation. Yet evaluators may reward milestones that were temporary, later reversed, or not attributable to the evaluated agent. Comparing an honest trajectory with a higher-scoring adversarial one is inconclusive if the latter made more genuine progress. We introduce PartHackBench, a controlled methodology that removes this confound. A private certifier admits a pair only when its trajectories match component-wise in both current-state predicate satisfaction and standardized agent attribution; score inflation, defined as f(A) - f(H), is measured only afterward. In 18 sealed held-out tasks in PB-CSTE, the frozen historical-target run produced matched adversaries for 15 tasks. Historical credit yielded mean inflation of .252, conditional attack success of 10/15, end-to-end yield of 10/18, and detected none of 14 strict rollbacks. Semantic LLM judges were more resistant but remained vulnerable, especially under evaluator-targeted attacks, while PB-CSTE current-state controls, defined as exact functions of the certified components, yielded zero inflation by construction. PartHackBench thus provides a certified control for testing whether evaluator credit changes while all benchmark-defined task-relevant progress remains fixed.
• Abstract（参考訳）: ロングホライゾン・ツール・エージェントは終末成功に至らずに有用な進歩を遂げることが多く、部分クレディット評価を動機付けている。 しかし評価者は、一時的な、後に逆転した、あるいは評価されたエージェントに帰属しないマイルストーンに報いるかもしれない。 正直な軌跡と高次の反対の軌跡を比較することは、後者がより真に進歩したならば決定的ではない。 私たちは、この矛盾を取り除く制御された方法論であるPartHackBenchを紹介します。 プライベート証明器は、その軌道が現在状態の述語満足度と標準化されたエージェント属性の両方において成分的に一致する場合にのみペアを認め、スコアインフレーション(f(A) - f(H)と定義される)はその後でのみ測定される。 18年、PB-CSTEの封印された封印されたタスクは15のタスクでマッチした敵を生産した。 歴史的信用は.252のインフレ率、10/15の条件付き攻撃成功、10/18のエンド・ツー・エンドの利回りを平均し、14回の厳格なロールバックは検出されなかった。 セマンティックLSMの審査員はより抵抗性があったが、特に評価対象の攻撃の下では脆弱であり、PB-CSTEの電流制御は認定された部品の正確な機能として定義され、建設によってインフレはゼロとなった。 従って、PartHackBenchは、すべてのベンチマーク定義タスク関連進捗が固定されている間に、評価対象のクレジットが変更されるかどうかをテストするための認定コントロールを提供する。

関連論文リスト

• MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
  MeshHealは、完全に分散化された自己修復フレームワークである。 能力にマッチしたピアレビューを2つのタイムスケールに分けている。 1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-24T04:29:37Z)
• Grounded Checklist Partial Credit for Agent Skill Trajectories [5.028537745773042]
  グラウンドドチェックリスト部分クレジット(GCPC)は、エージェント軌跡の人為的な部分クレジット評価である。 12のタスクから96のトラジェクトリに対する人間の評価は、G CPCが人間の進捗評価とより密接に一致していることを示している。 パイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件による評価を超えた適用性を示す。
  論文  参考訳（メタデータ） (2026-08-26T06:17:19Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
  我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。 ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
  論文  参考訳（メタデータ） (2026-05-17T13:51:34Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Towards a Science of AI Agent Reliability [9.570634569436535]
  AIエージェントは、重要なタスクを実行するためにますますデプロイされる。 標準ベンチマークにおける精度の上昇は急速な進歩を示唆する一方で、多くのエージェントが実際に失敗し続けている。 エージェントの信頼性を4つの重要な次元(一貫性、堅牢性、予測可能性、安全性)に沿って分解する12のメトリクスを提案する。
  論文  参考訳（メタデータ） (2026-02-18T18:05:44Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。