論文の概要: BulkPR-Bench: Benchmarking Queue-Level Governance of Interacting Pull Requests
- arxiv url: http://arxiv.org/abs/2608.02685v1
- Date: Mon, 03 Aug 2026 07:24:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.896647
- Title: BulkPR-Bench: Benchmarking Queue-Level Governance of Interacting Pull Requests
- Title（参考訳）: BulkPR-Bench: 相互作用するプルリクエストのキューレベルガバナンスのベンチマーク
- Abstract要約: BulkPR-Benchは,エージェントが逐次PR関係を回復し,大規模な安全なサブセットを返さなければならない,実行可能なベンチマークである。
このスイートには,18のレポジトリの凍結スナップショットに関する,新たに581のPRが含まれている。
- 参考スコア（独自算出の注目度）: 20.302431171662406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding-agent benchmarks increasingly cover long-horizon, end-to-end, and interactive development, but typically retain one requested outcome or a fixed change sequence. Sequential policies can process a pull-request (PR) queue one candidate at a time, but when queued PRs interact, maximizing safe delivery can require jointly deciding which changes to merge and in what order. We introduce BulkPR-Bench, an executable benchmark in which an agent must recover consequential PR relations and return a large safe subset in executable order under a rolling-release protocol. The suite contains 581 newly authored candidate PRs on frozen snapshots of 18 real repositories. Registered state-by-state repository execution, including hidden safety checks, validates the gold relation graph; an exact oracle then computes the largest safe subset. Our primary metric, Relational Delivery Score (RDS), scores safe delivery and correct rejection over relation groups from the realized merge trace; Global Safety-Gated Yield (Global-SGY) separately measures strict delivery of the realized whole-queue plan. Under the buffered primary protocol with batch size $K=32$, the three highest RDS estimates among the six models are 66.6%, 62.0%, and 57.9%, compared with 53.1% for the strongest sequential baseline. Only 8 of 324 model runs complete a queue exactly. Critical-relation recall ranges from 35.2% to 57.7%, and diagnostic runs supplied with the gold relations show substantial remaining headroom. Gains on relation groups therefore do not yet translate into dependable whole-queue governance.
- Abstract（参考訳）: コーディングエージェントベンチマークは、長い水平、エンドツーエンド、インタラクティブな開発をカバーしているが、通常、1つの要求された結果または固定された変更シーケンスを保持する。
シーケンシャルポリシーは、プルリクエスト(PR)キューを一度に1つの候補を処理することができるが、キューされたPRが相互作用する場合には、安全なデリバリを最大化するには、マージする変更と、どの順序で、共同で決定する必要がある。
BulkPR-Benchは、エージェントが連続PR関係を回復し、ローリングリリースプロトコルの下で実行可能順序で大きな安全なサブセットを返さなければならない実行可能なベンチマークである。
このスイートには,18のレポジトリの凍結スナップショットに関する,新たに581の候補PRが含まれている。
隠れた安全チェックを含むステートバイステートリポジトリの実行を登録すると、ゴールド関係グラフが検証される。
我々の主要な指標であるリレーショナル・デリバリースコア(RDS)は、実効マージ・トレースから、関係グループに対する安全な配信と正しい拒絶をスコアし、Global-SGY(Global-Gated Yield)は、個別に実現された全キュー・プランの厳密な配信を計測する。
バッチサイズが$K=32$のバッファードプライマリプロトコルでは、最上位のシーケンシャルベースラインが53.1%であるのに対して、6モデルの中では66.6%、62.0%、57.9%である。
324モデルのうち8つだけが正確にキューを完了します。
臨界リレーションのリコールは35.2%から57.7%の範囲で、金関係で供給される診断は、かなり残っている。
そのため、関係群での利得は、まだ信頼できる全キューガバナンスに変換されない。
関連論文リスト
- Identifying Latent Declarative Representations of Code for Assisting Repository Migration [0.7763235307178853]
ADFD-Migrateは、潜在表現を、プロセス、データストア、外部エンティティ、フロー、行動契約の注釈付きデータフロー図(ADFD)で近似する。
aDFD-Migrate on f2x50, a new benchmark of 50Fortran repository across 1.5k--1.6M code and three complexity tiers。
論文 参考訳（メタデータ） (2026-08-22T08:23:14Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - DG-FedReuse: Proxy-Gradient-Gated Cached-Update Reuse with Matched Sparse Uplink Accounting [0.0]
DG-FedReuseは、選択したクライアントがキャッシュされた更新にコントリビュートできるようにするシミュレータレベルのメカニズムである。
実験には、6つのイメージ分類データセット、50の仮想クライアント、Dirichletラベルクライアント、3つのシードが含まれている。
DG-FedReuseは83.36-85.42%のモデルで更新データフィールドのアップリンクを節約したが、Top-K FedAvgは76.88%だった。
論文 参考訳（メタデータ） (2026-08-05T19:30:04Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳（メタデータ） (2026-08-05T14:01:10Z) - TaPR: Test-Aware Policy Refinement for Feedback-Conditioned Code Generation [6.268849049716121]
Test-Aware Policy Refinement (TaPR)は、実行フィードバックを高密度なターン毎のテストパス比報酬に変換するフレームワークである。
LiveCodeBenchの219のコード生成問題に関する6つのモデルにおいて、TaPRはプールされた3ターン成功率(Pass@3)を2.44ポイント改善した。
論文 参考訳（メタデータ） (2026-08-01T07:35:06Z) - Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents [8.81342573156581]
Agent Retrieval Benchはこの上流検索問題のファイルレベルベンチマークである。
ベンチマークでは、code2test、 comment2context、 trace2code、Edit2rippleの4つの肯定的なタスクがカバーされている。
コーパスには308のベースコミットスナップショット、392,000ファイル、7.9百万チャンクが含まれている。
論文 参考訳（メタデータ） (2026-07-27T09:39:09Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。
バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。
エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
論文 参考訳（メタデータ） (2026-06-18T05:58:17Z) - Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense [0.0]
企業文書の大量生成には、財務紛争の物語、コンプライアンス通知、監査要約が含まれる。
統一されたガードレール層の前に、プロダクションシステムはしばしば別々のPIIリアクション、コンテンツモデレーション、フォーマット検証ステップを縫い合わせていた。
本稿では,テキストと画像入力のためのガードレールオーケストレーションレイヤを提案する。
論文 参考訳（メタデータ） (2026-06-01T00:24:30Z) - ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳（メタデータ） (2026-05-18T20:06:04Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。