論文の概要: HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference

• arxiv url: http://arxiv.org/abs/2610.24611v1
• Date: Sat, 17 Oct 2026 10:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.260092
• Title: HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference
• Title（参考訳）: HSPR:階層的後方推論によるソフトウェア固有のベンチマークスコアの復元
• Abstract要約: ソフトウェアエージェントを ベンチマークで評価するのは 費用がかかる 小さなタスクサブセットは、不正確なスコアを獲得しながらエージェントランキングを保存することができる。 本稿では,ソース適合型応答因子と不確実なグループ成功率を組み合わせた階層的スコアポストリカバリ(HSPR)を紹介する。
• 参考スコア（独自算出の注目度）: 9.480282396561806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating software agents on a full benchmark is expensive. A small task subset can preserve agent rankings while yielding inaccurate scores. Historical responses provide useful structure, but tasks with identical source responses can have different outcomes for a new target agent. We introduce Hierarchical Score Posterior Recovery (HSPR), which combines source-fitted response factors with uncertain group success rates. Observed target outcomes update the posteriors over the target latent state and group rates; posterior-guided acquisition selects subsequent tasks. Its score-based criterion equals the expected one-step reduction in full-score posterior variance. Observed successes and posterior-predictive counts for unqueried tasks yield a full-score posterior. The final estimate uses its median with source-selected calibration. At a 10% task budget on four task banks from the SWE-bench family, HSPR achieves the lowest mean absolute error (MAE) on three banks and the lowest maximum absolute error (MaxErr) on all four among the methods compared. Removing group uncertainty or replacing adaptive queries increases macro MAE in the respective controls. Macro MAE decreases across 5-20% budgets.
• Abstract（参考訳）: 完全なベンチマークでソフトウェアエージェントを評価するのはコストがかかる。 小さなタスクサブセットは、不正確なスコアを獲得しながらエージェントランキングを保存することができる。 履歴応答は有用な構造を提供するが、同じソース応答を持つタスクは、新しいターゲットエージェントに対して異なる結果が得られる。 本稿では,ソース適合型応答因子と不確実なグループ成功率を組み合わせた階層的スコアポストリカバリ(HSPR)を紹介する。 観測対象の成果は、目標の潜伏状態とグループレートを更新し、後続のタスクを選択する。 スコアベースの基準は、フルスコア後方分散の1ステップの削減と同等である。 未処理タスクの観測された成功と後部予測数により、完全な後部スコアが得られる。 最後の見積もりでは、ソース選択キャリブレーションで中央値を使用する。 SWE-ベンチファミリーの4つのタスクバンクで10%のタスク予算で、HSPRは3つのバンクで最低平均絶対誤差(MAE)、比較した4つのメソッドで最低最大絶対誤差(MaxErr)を達成する。 グループ不確実性を取り除いたり、適応的なクエリを置き換えたりすると、各コントロールのマクロMAEが増加する。 マクロは5-20%の予算で減少する。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems [58.89141999692635]
  提案するSpeculative Recursive Self-Improvement(SpecRSI)は,前任者が十分に評価される前に,実行可能な後継エージェントをドラフトする。 VATSは、予測された継続の返却を使って、さらなる編集と優れたチェックの間に予算を割り当てる。 グループ検証最適化(GVO)は、実際の評価器を固定しながら、完了した探索から改善器を学習する。
  論文  参考訳（メタデータ） (2026-10-12T09:43:48Z)
• MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
  MeshHealは、完全に分散化された自己修復フレームワークである。 能力にマッチしたピアレビューを2つのタイムスケールに分けている。 1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-24T04:29:37Z)
• Trajectory-Aware Benchmark Subset Selection for Cost-Efficient Software Engineering Agent Regression Testing [13.445714489253703]
  自動ソフトウェアエンジニアリングエージェント(SWEエージェント)は、コーディングタスクを自動化する。 1つの解決策は、ベンチマークインスタンスのサブセットのみを評価することである。 トラジェクティブ・アウェア・サブセット選択手法を提案し, トラジェクティブ・埋め込みに基づくランダムサンプリングを決定論的選択に置き換える。
  論文  参考訳（メタデータ） (2026-09-21T17:23:28Z)
• EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents [8.799203536862382]
  EcoAgent-Benchを紹介します。 その結果、予算と経済的な行動選択の完了は、異なる特性であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-06T01:47:47Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Learning Partial Action Replacement in Offline MARL [11.861550409939818]
  部分アクション置換(Partial Action Replacement)は、アクションをデータセットするエージェントのサブセットをアンカーすることで、これを緩和する。 PLCQLは、PARサブセット選択を文脈的帯域幅問題として定式化するフレームワークである。 本研究では,推定誤差が予測されるエージェント数と線形にスケールすることを示す値エラー境界を証明した。
  論文  参考訳（メタデータ） (2026-03-30T15:28:13Z)
• Efficient Benchmarking of AI Agents [0.0]
  小型タスクサブセットがエージェントランキングを極めて低コストで維持できるかどうかを検討する。 絶対スコア予測は足場駆動の分布シフトで低下することがわかった。 本稿では,中間的履歴パス率を持つタスクに対してのみ,新しいエージェントを評価できる最適化フリープロトコルを提案する。
  論文  参考訳（メタデータ） (2026-03-24T22:17:11Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。