論文の概要: SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation
- arxiv url: http://arxiv.org/abs/2608.02287v1
- Date: Mon, 03 Aug 2026 14:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.594076
- Title: SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation
- Title(参考訳): SKT: 検証された合成データ生成による大規模スキル・ユース・トレーニング
- Abstract要約: 我々は、スキルユース機能を改善するための検証済みデータ合成パイプラインであるSKTを紹介する。
2,000の公開スキルを使用して、SKTは4000のタスクパッケージと27,164の検証軌道を生成する。
多様なモデル、ベンチマーク、エージェントハーネスにわたる実験により、SKT生成トラジェクトリの微調整が一貫してスキル使用性能を改善することが示されている。
- 参考スコア(独自算出の注目度): 34.60026807957888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent skills have become an important mechanism for equipping language-model agents with reusable procedural knowledge. However, providing skills alone does not guarantee that current models can effectively identify, apply, and coordinate them. To improve skill-use capabilities, we introduce SKT, a verified data synthesis pipeline that constructs skill-grounded tasks and executable trajectories from large collections of agent skills. SKT selects suitable single-skill and multi-skill configurations, synthesizes tasks through rule-based and agent-based verification with feedback-guided repair, and retains only successful trajectories that substantially use every required skill. Using 2,000 public skills, SKT produces 4,000 task packages and 27,164 verified trajectories. Based on the same pipeline and a disjoint test pool, we further construct SkillEval, a held-out executable benchmark for evaluating skill use. Experiments across diverse models, benchmarks, and agent harnesses show that supervised fine-tuning on SKT-generated trajectories consistently improves skill-use performance. Verification ablations, cross-harness evaluation, and scaling experiments further demonstrate that these gains depend on high-quality supervision, extend beyond a single agent interface, and increase with broader skill coverage. Together, these results establish verified data synthesis as an effective and scalable approach for skill-use training.
- Abstract(参考訳): エージェントスキルは、再利用可能な手続き的知識を持つ言語モデルエージェントを装備するための重要なメカニズムとなっている。
しかし、スキルの提供だけでは、現在のモデルが効果的にそれらを特定し、適用し、調整できることを保証しません。
SKTは,多数のエージェントスキルのコレクションから,スキルグラウンドのタスクと実行可能なトラジェクトリを構築する,検証済みのデータ合成パイプラインである。
SKTは適切なシングルスキルとマルチスキルの構成を選択し、ルールベースとエージェントベースの検証を通じてタスクを合成する。
2,000の公開スキルを使用して、SKTは4000のタスクパッケージと27,164の検証軌道を生成する。
同じパイプラインと相容れないテストプールに基づいて、スキル使用を評価するためのホールドアウト実行ベンチマークであるSkillEvalをさらに構築する。
多様なモデル、ベンチマーク、エージェントハーネスにわたる実験により、SKT生成トラジェクトリの微調整が一貫してスキル使用性能を改善することが示されている。
検証の短縮、クロスハーネス評価、スケーリング実験は、これらの成果が高品質の監視に依存し、単一のエージェントインターフェースを超えて拡張され、より広範なスキルカバレッジで増加することを示す。
これらの結果から, スキル・ユース・トレーニングにおける有効かつスケーラブルな手法として, 検証されたデータ合成が確立された。
関連論文リスト
- SkillCommit: Evolving Agent Skills through Behaviorally Validated Scope Expansion [15.498568310060229]
我々は、経験を再利用可能なスキルの階層的なライブラリに変換するオンラインスキル進化フレームワークであるSkillCommitを提案する。
関連スキルが蓄積されるにつれて、SkillCommitは共通の行動メカニズムを共有するスキルをハイレベルなスキルに抽象化する。
RuleArena、OpenExempt、KOR-Benchの実験では、SkillCommitはさまざまなドメインにわたるエージェントパフォーマンスを一貫して改善している。
論文 参考訳(メタデータ) (2026-08-15T11:03:07Z) - A Framework for Evaluating Agentic Skills at Scale [0.4509560087514856]
エージェントスキルは構造化され、エージェント能力を増強する再利用可能な知識アーティファクトである。
個々のスキルを評価するための再利用可能な方法論は存在しない。
本稿では,スキルライターが現実的なタスクを構築できる評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-16T11:46:56Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳(メタデータ) (2026-06-04T12:16:08Z) - OpenSkillEval: Automatically Auditing the Open Skill Ecosystem for LLM Agents [15.598856888948093]
スキル強化エージェントシステムとスキル自体の自動評価フレームワークであるtextscOpenSkillEvalを提案する。
静的ベンチマークに頼る代わりに、textscOpenSkillEvalは、現実世界のアーティファクトの進化から現実的なタスクインスタンスを自動的に構築する。
600以上の動的に生成されたタスクインスタンスと30のオープンソーススキルを使用して、最先端のモデルとエージェントフレームワークを体系的に評価する。
論文 参考訳(メタデータ) (2026-05-22T14:09:41Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳(メタデータ) (2026-05-10T06:19:15Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳(メタデータ) (2026-05-09T19:24:11Z) - CoVe: Training Interactive Tool-Use Agents via Constraint-Guided Verification [17.56502992098113]
textbfCoVe(textbfConstraint-textbfVerification)は、対話型ツール使用エージェントのトレーニング用に設計されたトレーニング後のデータ合成フレームワークである。
それらは、複雑な軌跡の生成をガイドし、軌道品質を評価するための決定論的検証器として機能する。
論文 参考訳(メタデータ) (2026-03-02T14:56:35Z) - SkillCraft: Can LLM Agents Learn to Use Tools Skillfully? [67.69996753743129]
SkillCraftは、高レベルのツールコンポジションの生成と再利用を可能にする、明示的にストレステストエージェントのベンチマークである。
SkillCraftは、定量次元と構造次元の両方に沿ってスケールする困難を伴う、現実的で、構成性の高いツール使用シナリオを特徴としている。
本稿では,エージェントがアトミックツールを実行可能なスキルに自動生成し,タスク内およびタスク間のキャッシュと再利用を可能にする軽量な評価プロトコルを提案する。
論文 参考訳(メタデータ) (2026-02-28T15:44:31Z) - AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。
既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。
本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
論文 参考訳(メタデータ) (2025-04-07T03:31:57Z) - Design of Negative Sampling Strategies for Distantly Supervised Skill
Extraction [19.43668931500507]
本稿では,リテラルマッチングによる遠隔監視に基づく,スキル抽出のためのエンドツーエンドシステムを提案する。
ESCO分類を用いて、関連するスキルからネガティブな例を選択することで、最大の改善が得られます。
我々は,タスクのさらなる研究を促進するために,研究目的のベンチマークデータセットをリリースする。
論文 参考訳(メタデータ) (2022-09-13T13:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。