論文の概要: TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation
- arxiv url: http://arxiv.org/abs/2610.27290v1
- Date: Mon, 19 Oct 2026 21:06:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.513035
- Title: TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation
- Title(参考訳): TEX: Execution-based Cross-Validationによるテスト時間スケーリングテストエージェント
- Abstract要約: TEXは、実行駆動のクロスバリデーションに基づく、共同テストタイムスケーリングフレームワークである。
TEXはエージェントを並列化してテストとパッチを生成し、各テストとパッチの相互実行を行い、フィードバックマトリックスが$K倍になる。
SWT-Bench Verifiedでは、TEXは86.4%を達成し、新しい最先端技術を確立し、シングルエージェントベースラインよりも9.0%向上した。
- 参考スコア(独自算出の注目度): 31.501321246753076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-case generation is critical but remains challenging for language models. Existing test-time scaling methods either isolate candidates or aggregate traces, which do not scale to long-horizon tasks. We present TEX, a collaborative test-time scaling framework based on execution-driven cross-validation. TEX parallelizes agents to generate tests and patches, cross-executing each test against every patch to form a $K \times K$ feedback matrix. Agents use their matrix slices for refinement, enabling objective validation without verbose trace sharing. On SWT-Bench Verified, TEX achieves 86.4%, establishing a new state-of-the-art and improving +9.0% over single-agent baselines. Moreover, even random selection from TEX outputs (84.4%) surpasses the previous SOTA (84.0%), showing collaborative execution feedback improves solution quality, not just best-case samples. Our results highlight execution-grounded feedback as an effective scaling mechanism for long-horizon agentic tasks.
- Abstract(参考訳): テストケースの生成は重要だが、言語モデルでは依然として難しい。
既存のテスト時間スケーリングメソッドは、候補を分離するか、長い水平タスクにスケールしないトレースを集約する。
我々は,実行駆動型クロスバリデーションに基づく協調的なテスト時間スケーリングフレームワークであるTEXを紹介する。
TEXは、エージェントを並列化してテストとパッチを生成し、各テストとパッチを相互実行して、$K \times K$ フィードバックマトリックスを形成する。
エージェントはマトリックススライスを洗練するために使用し、冗長なトレース共有なしで客観的な検証を可能にする。
SWT-Bench Verifiedでは、TEXは86.4%を達成し、新しい最先端技術を確立し、シングルエージェントベースラインよりも9.0%向上した。
さらに、TEX出力からのランダムな選択(84.4%)でさえ、以前のSOTA(84.0%)を上回り、協調的な実行フィードバックは、ベストケースのサンプルだけでなく、ソリューションの品質を改善する。
本結果は,長期エージェントタスクの効果的なスケーリングメカニズムとして,実行ベースフィードバックが注目される。
関連論文リスト
- TestPrism: Rethinking Test Evaluation Beyond a Single Reference [31.934559142745]
大規模言語モデル(LLM)コーディングエージェントは、様々なプログラミングタスクにまたがる高度なテスト生成を持つ。
我々は17のソースから300のテストタスクと3000の候補実装からなるTestPrismを紹介し、有効と無効のソリューションを均等に分割する。
分析の結果,動作の欠如,アサーションの欠如,テスト構築の不良が判明した。
論文 参考訳(メタデータ) (2026-10-08T16:44:39Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳(メタデータ) (2026-10-07T07:58:04Z) - HxAgent: Iterative Agent Planning for End-to-End Web Application Testing [9.769347685261687]
プロアクティブな修正戦略を備えた反復計画エージェントであるHxAgentを紹介する。
HxAgent 97.4% MiniWoB++のExact-Match精度。
OnlineMind2Webでは、WALTよりも4.6%改善されている。
論文 参考訳(メタデータ) (2026-08-16T02:40:37Z) - REAR: Test-time Preference Realignment through Reward Decomposition [68.09214603569744]
本稿では,タスクを階層化問題としてモデル化する新しいフレームワークを提案する。
これら2つの報酬項の比率を選択的に再スケールするREAR(Realignment Reward)を導出する。
我々は,REARをトークンレベルのポリシログ確率の線形結合として定式化することができ,様々なTSアルゴリズムと容易に統合できることを示す。
論文 参考訳(メタデータ) (2026-06-29T14:17:53Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳(メタデータ) (2026-04-16T17:39:33Z) - Targeted Test Selection Approach in Continuous Integration [34.139736599165566]
Targeted Test Selection (T-TS)は、産業用テスト選択のための機械学習アプローチである。
ライブ産業データでは、T-TSはテストの15%しか選択せず、実行時間を5.9times$に減らし、パイプラインを5.6times$に加速し、95%以上のテスト失敗を検出する。
論文 参考訳(メタデータ) (2025-09-12T14:20:51Z) - Align Your Prompts: Test-Time Prompting with Distribution Alignment for
Zero-Shot Generalization [64.62570402941387]
テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。
提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
論文 参考訳(メタデータ) (2023-11-02T17:59:32Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。