論文の概要: Mining Agent Skills from Production Traces

• arxiv url: http://arxiv.org/abs/2610.05777v1
• Date: Mon, 05 Oct 2026 04:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:29:39.899177
• Title: Mining Agent Skills from Production Traces
• Title（参考訳）: 生産痕跡からの鉱業技術
• Abstract要約: 手続き的な指示を記録するエージェントのスキルは、キュレートされた手ではなく、実行トレースから徐々に掘り下げられる。 プロダクションでは、実行が成功したかどうかの信頼できる情報は利用できない可能性がある。 本研究では, 実行トレースのサンプリング, 成功や失敗の情報へのアクセス, マイニングスキルの形式が下流タスクのパフォーマンスに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 34.34584916919346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent skills that record procedural instructions are increasingly mined from execution traces rather than curated by hand. Skill-mining pipelines often use known task outcomes or feedback to guide skill construction. In production, reliable information on whether a run has succeeded may be unavailable. We study how the sampling of execution traces, access to success or failure information, and the form of the mined skills affect downstream task performance. Holding the mining pipeline fixed, we compare six combinations of mining evidence and skill forms. Mining evidence has three levels: successful trajectories only, successes and failures with their outcome labels, or the same mix with labels withheld. Skill form has two types: an ordered workflow plan, or a declarative ontology of entities, states, and policies. We evaluate the mined skills on two enterprise benchmarks, ThinkingBox-Bench and APEX-Agents. Analysis of task-level paired differences shows that the benefits of different configurations of mining evidence and skill forms depend on the enterprise domain. On ThinkingBox-Bench, paired differences show that workflows score better than ontology by 1.7 pp, Goldilocks beats success-only evidence type by 2.4 pp and Goldilocks blind simulating skills learnt without outcomes is worse by 3.1 pp. APEX-Agents shows a moderate preference for ontologies and no clear preference between evidence regimes. Within each domain, task structure related constraints drive uneven performance with mined skills. These findings motivate tailoring meta-skills to the demands of the target tasks rather than adopting a one-size-fits-all approach.
• Abstract（参考訳）: 手続き的な指示を記録するエージェントスキルは、手作業で行うのではなく、実行トレースから徐々に掘り下げられる。 スキルマイニングパイプラインは、既知のタスク結果やフィードバックを使ってスキル構築をガイドすることが多い。 プロダクションでは、実行が成功したかどうかの信頼できる情報は利用できない可能性がある。 本研究では, 実行トレースのサンプリング, 成功や失敗の情報へのアクセス, マイニングスキルの形式が下流タスクのパフォーマンスに与える影響について検討する。 採掘パイプラインの固定を保ちながら、鉱業証拠と技術形態の6つの組み合わせを比較した。 マイニングエビデンスには3つのレベルがある: 軌道のみの成功、結果ラベルによる成功と失敗、あるいはラベルが保持されないものと同じ混合である。 スキルフォームには、順序付けられたワークフロープラン、またはエンティティ、ステート、ポリシーの宣言的なオントロジーという2つのタイプがある。 我々は、ThinkingBox-BenchとAPEX-Agentsの2つのエンタープライズベンチマークで、マイニングスキルを評価した。 タスクレベルでのペア化の違いの分析は、マイニングエビデンスとスキルフォームの異なる構成の利点がエンタープライズドメインに依存していることを示している。 ThinkingBox-Benchでは、ペアによる違いは、ワークフローがオントロジーよりも1.7pp、Goldilocksは2.4pp、Goldilocksのブラインドシミュレートスキルは3.1ppよりも悪いことを示している。 APEX-Agentsはオントロジーを適度に好んでおり、エビデンス体制間の明確な嗜好は示さない。 各ドメイン内では、タスク構造に関連する制約が、マイニングされたスキルで不均一なパフォーマンスをもたらす。 これらの知見は,1段階のアプローチを採用するのではなく,目標課題の要求に合わせたメタスキルの調整を動機づけている。

関連論文リスト

• SkillCome: Group Contrast Skill Optimization with Dual Memory [61.4363992740827]
  本稿では,デュアルメモリを用いたグループコントラスト最適化に基づくスキル進化手法であるSkillComeを提案する。 各質問に対して、SkillComeは軌道を生成し、グループコントラスト解析を行う。 デュアルメモリシステムは、異なるグループ間で共有されるパターンを追跡するために、歴史的なステップから証拠を蓄積する。
  論文  参考訳（メタデータ） (2026-09-29T09:33:39Z)
• TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals [49.800443965874756]
  インコンテキスト学習(ICL)は、モデルがデモからタスクを推論することを可能にする。 既存のベンチマークでは、モダリティ間でICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していないのが一般的である。 我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。
  論文  参考訳（メタデータ） (2026-09-14T04:42:42Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
  現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。 トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。 SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
  論文  参考訳（メタデータ） (2026-06-11T13:12:10Z)
• SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
  現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。 我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。 本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
  論文  参考訳（メタデータ） (2026-06-10T01:11:50Z)
• SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents [15.669318649782285]
  我々は、統一されたプロトコルの下でスキル生成パイプラインを評価するためのベンチマークであるSkillGenBenchを紹介する。 ジェネレータは生のコーパスを受け取り、標準化されたスキルアーティファクトを生成し、固定ハーネスの下で実行される。 様々なスキルジェネレーション手法とバックボーンの実験は、かなりの性能変化を示している。
  論文  参考訳（メタデータ） (2026-05-18T17:28:36Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。