論文の概要: Probe-and-Resume: When and How to Evaluate Agent Execution

• arxiv url: http://arxiv.org/abs/2610.21088v1
• Date: Thu, 15 Oct 2026 01:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.121903
• Title: Probe-and-Resume: When and How to Evaluate Agent Execution
• Title（参考訳）: Probe-and-Resume: エージェントの実行をいつ、どのように評価するか
• Abstract要約: テストタイム検索は、代替アクションを探索し、批評家を使って有望なブランチを選択することで、エージェントのパフォーマンスを向上させることができる。 本研究では,大規模な状態の部分的なビューのみを公開する端末ベースのコンピュータ利用環境において,このアプローチについて検討する。 エージェントが実行を主張すると、批評家はその状態のフォークを調査し、拒否されたエージェントが停止した場所を再開します。
• 参考スコア（独自算出の注目度）: 3.6818557262393568
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Test-time search can improve agent performance by exploring alternative actions and using a critic to select promising branches. We study this approach in terminal-based computer-use environments, which expose only a partial view of a large underlying state, and find that the Monte Carlo tree search (MCTS) configuration we evaluate does not significantly improve task success. We identify two sources of poor critic performance: the agent's observations omit environment state needed for evaluation, and intermediate states offer limited evidence of whether a trajectory will succeed. At intermediate states, critics rank continuations only modestly better than chance, and environment access improves this little. We study when to invoke a critic and what access to give it to evaluate a node. Our findings motivate a policy that invokes the critic only at nodes the agent believes are final, rather than during partial progress. Further, the policy gives the critic read, write, and execute access to a fork of the computer's current and initial state, allowing it to probe and perform potentially destructive actions to surface any hidden state the trajectory omits. We call the resulting design Probe-and-Resume: when the agent claims to be done, the critic probes a fork of its state, and a rejected agent resumes where it stopped. On Terminal-Bench 2.1, this raises success by 8.4 percentage points over MCTS with conventional critics, and approaches the success rate of the Codex CLI agent with the same underlying model at less than half its cost.
• Abstract（参考訳）: テストタイム検索は、代替アクションを探索し、批評家を使って有望なブランチを選択することで、エージェントのパフォーマンスを向上させることができる。 提案手法は,大規模な状態の部分的なビューのみを公開する端末ベースのコンピュータ利用環境において検討し,評価したモンテカルロ木探索(MCTS)構成がタスク成功を著しく改善しないことを確認した。 エージェントの観察は評価に必要な環境状態を省略し、中間状態は軌道が成功するかどうかの限られた証拠を提供する。 中間の州では、批評家は連続性は偶然よりもわずかに良いだけであり、環境アクセスはこのわずかに改善される。 批判者をいつ呼び出すか、ノードを評価するためにどのようなアクセスを与えるかについて検討する。 我々の発見は、部分進行中ではなく、エージェントが最終であると信じているノードのみに批判を呼び起こす政策を動機付けている。 さらに、このポリシーにより、批評家はコンピュータの現在の状態と初期状態のフォークにアクセスし、読み書きし、実行し、潜在的に破壊的な行動を起こして、隠された状態の軌跡を覆い隠すことができる。 エージェントが実行を主張すると、批評家はその状態のフォークを調査し、拒否されたエージェントが停止した場所を再開します。 Terminal-Bench 2.1では、従来の批評家によるMCTSよりも8.4パーセントの成功率を上げ、同じ基盤モデルで同じモデルでCodex CLIエージェントの成功率にアプローチする。

関連論文リスト

• Opera: A Verbal Critic Framework for Long-horizon Coding Agents [74.58337827299496]
  本稿では,各修正を永続的なノートとして扱う言語批判フレームワークであるOperaについて紹介する。 Operaは、周期的およびイベント駆動のトリガを通じていつレビューするかを決定し、型付きオペレーターと問題を診断し、配信前に可視的な証拠に対するフィードバックを監査し、エージェントのその後のアクションを追跡して、単なるコンプライアンスと実際の解決を区別する。
  論文  参考訳（メタデータ） (2026-09-27T22:42:57Z)
• Agentic Code Review in the Terminal: A Trajectory-Level Analysis of Behavior, Cost, and Human-Alignment [8.909533914802669]
  端末ベースの環境におけるエージェントコードレビューは、プルリクエスト作成前のローカル開発における早期フィードバックを可能にする。 既存の評価はパフォーマンス中心であり、リポジトリ基底のエージェントレビュアーの動的な振る舞いを捉えられない。 以上の結果から,エージェントレビューの精度は向上するが,十分な調査と検証のオーバーヘッドが生じる一方で,レビューの成功はより強力な計画と下流検証に結びついていることが示唆された。
  論文  参考訳（メタデータ） (2026-07-18T10:03:03Z)
• From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
  我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。 本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。 実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2026-06-11T13:38:23Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
  エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。 我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。 GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
  論文  参考訳（メタデータ） (2026-04-29T22:09:47Z)
• CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents [0.7496422063843831]
  我々は、ベンチマークデータセットであるCR-Benchと、コードレビューエージェントのためのきめ細かい評価パイプラインであるCR-Evaluatorを紹介する。 コードレビューエージェントは、隠されたすべての問題を特定するために設計された場合、低信号対雑音比を示すことができる。 本分析では,課題解決と突発的な発見との間に隠されたトレードオフを明らかにし,効果的なエージェント設計を制約するフロンティアを明らかにした。
  論文  参考訳（メタデータ） (2026-03-10T21:29:42Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。