論文の概要: TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents

• arxiv url: http://arxiv.org/abs/2608.22793v1
• Date: Mon, 24 Aug 2026 04:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.886549
• Title: TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents
• Title（参考訳）: TRACE: 一貫性と限界を意識したLLMエージェントのための自己進化型スキルバンク
• Abstract要約: TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。 GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。 これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
• 参考スコア（独自算出の注目度）: 41.82249291285459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable deployment of LLM agents in user-facing products depends not on raw task-solving ability but on consistency and limit-awareness: behaving the same way across repeated trials, and recognizing when a request cannot, or cannot yet, be safely fulfilled. CAR-bench exposes this reliability gap in the domain of in-car assistants: an LLM-simulated user issues incomplete or ambiguous requests, requiring the agent to resolve uncertainty through multi-turn dialogue and tool use while strictly adhering to domain policies. Even frontier models show a substantial gap between what they can solve at least once (Pass@3) and what they solve consistently across trials (Pass^k). We bridge this gap with TRACE (TRAjectory-Contrastive Evolution), which iteratively improves a skill-based agent's behavioral knowledge without modifying model weights. This knowledge is organized as a Skill Bank of modular, retrievable skills, each encoding a self-contained set of tool-use rules and behavioral guidelines. TRACE evolves this bank through an agentic self-evolution loop: after each evaluation round, it groups trajectories by the skills invoked and refines each skill by contrasting successful and failed behaviors. The updated bank then guides subsequent rounds, while during deployment the Actor performs state-conditioned skill orchestration at every turn. On GPT-5.5, TRACE improves consistency (Pass^3) by 34.6 points, from 59.9% to 94.5%, while shrinking the gap between potential and reliable performance to just 4.0 points. On the official hidden set, TRACE achieved first place using GPT-5.6-Sol, attaining a Pass^3 score of 70%-a 40% relative improvement over the baseline. These results show that TRACE converts high model potential into stable, consistent performance gain. Project homepage: https://darwin-agent.github.io/Car-bench-TRACE.
• Abstract（参考訳）: LLMエージェントのユーザ対応製品への信頼性の高いデプロイは、生のタスク解決能力ではなく、一貫性と限界認識に依存している。 LLMでシミュレートされたユーザイシューの不完全あるいは曖昧な要求であり、エージェントはドメインポリシーを厳格に固執しつつマルチターン対話とツール使用を通じて不確実性を解決する必要がある。 フロンティアモデルでさえ、少なくとも一度は解決できるもの(Pass@3)と、トライアル全体(Pass^k)で一貫して解決できるもの(Pass^k)の間には、かなりのギャップがある。 このギャップをTRACE(TRAjectory-Contrastive Evolution)で埋め、モデル重みを変更することなく、スキルベースエージェントの行動知識を反復的に改善する。 この知識はモジュラーで検索可能なスキルのスキルバンクとして組織され、それぞれが自己完結したツール使用ルールと行動ガイドラインをコーディングします。 TRACEはこの銀行をエージェント的自己進化ループを通じて進化させ、各評価ラウンドの後、実行されたスキルによって軌道をグループ化し、成功し失敗した振る舞いを対比することで各スキルを洗練させる。 更新されたバンクはその後のラウンドをガイドし、デプロイ中にアクターは各ターンで状態条件のスキルオーケストレーションを実行する。 GPT-5.5では、TRACEは一貫性(Pass^3)を34.6ポイント改善し、59.9%から94.5%に改善した。 公式の隠れセットでは、TRACEはGPT-5.6-Solで1位を獲得し、パス^3のスコアはベースラインよりも70%-a 40%向上した。 これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。 プロジェクトホームページ: https://darwin-agent.github.io/Car-bench-TRACE

関連論文リスト

• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents [56.902747731541695]
  LEGO-RLは、ネイティブコーディングエージェントハーネスをスケーラブルなポリシ-グラディエント最適化でブリッジするフレームワークです。 我々は、3つのネイティブコーディングエージェントハーネスにまたがるGSPOを用いて、疎いMoEモデルQwen3.5-35B-A3BをトレーニングすることでLEGO-RLを評価する。
  論文  参考訳（メタデータ） (2026-08-18T05:34:35Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
  我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。 トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。 両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
  論文  参考訳（メタデータ） (2026-07-31T18:05:36Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution [24.78476085778134]
  自己改善エージェントは、実行トレースから自身のスキルファイルを書き換えることで、この問題に対処する。 MetaSkill-Evolveはエージェントスキルの改善を再帰的に行う2段階のフレームワークである。 タスクスキルは高速ループで進化し、メタスキルは自分自身に適用される同じパイプラインの下で遅いループで進化する。 5つのパイプラインエージェントが1つの凍結バックボーンを共有しているため、MetaSkill-Evolveは、ノスキル、スタティックスキル、シングルレベルの進化ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2026-07-06T16:40:23Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
  生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。 既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。 我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-06T21:09:06Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。