論文の概要: Self-Designed Evaluators and Warm Memory for Long-Horizon Agents

• arxiv url: http://arxiv.org/abs/2609.33717v1
• Date: Sun, 27 Sep 2026 16:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:20:13.545754
• Title: Self-Designed Evaluators and Warm Memory for Long-Horizon Agents
• Title（参考訳）: 長距離エージェントの自己設計評価と温記憶
• Abstract要約: SelfSuiteは、重み付き審査員による評価スイートで、テイクベストの再試行をゲートし、型付き、結果追跡されたメモリをラベル付けする。 Tau2-benchとAppWorldの5段階のベンチマークで、SelfSuiteはラベルなしでプレーンエージェントの上位にスコアを付けている。 2つ目のモデルファミリーに関する単行研究は、同じ順序を示す。
• 参考スコア（独自算出の注目度）: 7.112972689152453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A tool-using language-model agent deployed over a long stream of tasks receives no reward, so it cannot tell whether it succeeded, cannot safely retry, and cannot label the experience it needs to improve. We present SelfSuite, in which the agent's own base model, given only the world's public materials, designs a small evaluation suite of weighted judges and grounded per-task briefs, freezes it, and uses it to gate a keep-best retry and to label a typed, outcome-tracked memory. On matched five-repeat benchmarks over tau2-bench and AppWorld, SelfSuite scores above the plain agent without any labels, matches methods given ten expert labels on tau2-bench, and trails Agentic Context Engineering (ACE) on AppWorld, where code execution gives a direct success signal. In an ablation campaign run on the same tasks, it is above label-free ACE in every repeat, and the gated second attempt is the only component whose removal hurts in every repeat. We also simulate a subject-matter expert who grades ten onboarding tasks per world. Using those labels to calibrate SelfSuite's evaluator gives a small, consistent gain, and using them to warm up ACE's memory lifts ACE to tie calibrated SelfSuite. A single-run study on a second model family shows the same ordering.
• Abstract（参考訳）: タスクの長いストリームにデプロイされるツールを使用する言語モデルエージェントは報奨を受けないので、それが成功したかどうかを判断できず、安全にリトライできず、改善すべきエクスペリエンスをラベル付けできない。 我々は,エージェント自身のベースモデルに,世界の公開資料のみを付与し,重み付き審査員の小さな評価スイートを設計し,タスク毎のブリーフを接地し,凍結し,それをキープ・ベスト・リトライのゲートとして使用し,入力された結果追跡メモリのラベル付けを行う。 Tau2-benchとAppWorldの5つの繰り返しベンチマークと一致したベンチマークで、SelfSuiteはラベルなしでプレーンエージェントの上位にスコアし、tau2-benchに10のエキスパートラベルを与えたメソッドにマッチし、AppWorldのエージェントコンテキストエンジニアリング(ACE)にコード実行が直接成功シグナルを与える。 同じタスクで実行されるアブレーションキャンペーンでは、リピート毎にラベルのないACEの上にあり、ゲートされた2番目の試みは、リピート毎に削除が傷つく唯一のコンポーネントである。 また、世界で10のタスクを受講する課題の専門家をシミュレートする。 これらのラベルを使ってSelfSuiteの評価器を校正すると、小さな一貫した利得が得られ、ACEのメモリリフトをウォームアップして、キャリブレーションされたSelfSuiteを調整します。 2つ目のモデルファミリーに関する単行研究は、同じ順序を示す。

関連論文リスト

• AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
  エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
  論文  参考訳（メタデータ） (2026-09-28T12:24:21Z)
• One Rollout Is All You Get: Fully Test-Time Adaptation for GUI Agents [15.677861196375881]
  GUIエージェントは凍結した重量でデプロイされ、仕事で経験したすべてのものを破棄します。 これらの制約によりGUIエージェントの完全なテスト時間適応を定義し、最小の重み空間法であるSOLOと組み合わせる。 WebArena、VisualWebArena、MobileWorldから構築された繰り返しタスクストリームでは、UI-TARS-7BとQwen3-VL-8Bの両方でフリーズエージェントを3～6ポイント改善し、Webストリーム上で2つのインセットメモリメソッドを超える。
  論文  参考訳（メタデータ） (2026-09-28T05:00:45Z)
• SAGE: Symbolic Action-Gating and Editing for LLM Task Planners [0.0]
  SAGE(Symbolic Action-Gating and Editing)は,2つの軽量メカニズムから構築された単一LLMプランナである。 ドメインに依存しないシンボルゲートは、実行時安全モニタとしてタイプされた理由により、事前条件違反行為をブロックする。 ローカルな編集は失敗したサブゴールの接尾辞のみを再生し、完了し、未修正の作業をそのまま維持する。
  論文  参考訳（メタデータ） (2026-09-28T04:17:55Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
  コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。 このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。 このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
  論文  参考訳（メタデータ） (2026-07-20T15:32:09Z)
• AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
  エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。 根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。 我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
  論文  参考訳（メタデータ） (2026-06-11T17:23:54Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• The Art of Building Verifiers for Computer Use Agents [17.61915099226967]
  我々は,Universal Verifier(ユニバーサル検証)と呼ぶWebタスクのための最良クラス検証器の構築から学んだ教訓を提示する。 ユニバーサル検証は4つの重要な原則に基づいて設計する。 ベースラインと比較して偽陽性率がほぼゼロに低下したことを報告した。
  論文  参考訳（メタデータ） (2026-04-05T06:26:05Z)
• AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
  我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。 ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。 また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
  論文  参考訳（メタデータ） (2025-04-11T19:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。