論文の概要: A Single Rewrite Suffices: Empirical Lessons from Production Skill Description Optimization
- arxiv url: http://arxiv.org/abs/2606.30775v1
- Date: Mon, 29 Jun 2026 18:06:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.963456
- Title: A Single Rewrite Suffices: Empirical Lessons from Production Skill Description Optimization
- Title（参考訳）: 1つの書き直し:生産スキル記述最適化からの経験的教訓
- Abstract要約: 実運用企業グループチャットエージェントに,自動記述最適化パイプラインをデプロイする。
パイプラインは平均79.2%のF1の記述を生成し、手動で調整した記述は79.4%のF1と一致する。
我々は、テキストレベルの介入ではなく、アーキテクチャ上の後者のケースにフラグを付ける診断(大規模な列車検証F1ギャップ)を識別する。
- 参考スコア（独自算出の注目度）: 8.275912430538417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise AI agents route user queries to specialized skills by matching queries against natural language skill descriptions. When two skills share overlapping descriptions, the routing LLM misroutes queries, a failure we term skill collision. As agents scale to dozens of skills, manually tuning descriptions to maintain routing accuracy becomes a significant engineering bottleneck. We deploy an automated description optimization pipeline on a production enterprise group chat agent (9 skills, 372 regression cases). The pipeline produces descriptions averaging 79.2% F1, matching manually tuned descriptions at 79.4% F1 (average per-skill difference -0.20%, within the 0.78% multi-seed noise floor), while reducing per-skill engineering effort from 120 minutes to 3.8 minutes (32 times speedup). We then examine which pipeline components actually drive this match. Systematic ablation on both the production system and ToolBench (16k tools) reveals that a single LLM rewrite using any available false-positive and false-negative cases captures most of the available improvement. Other design choices we tested (iteration budget, feedback signal composition, dual editing of confused pairs, and training set size) each affect final F1 by less than 0.5%. Description optimization addresses skill collisions caused by overlapping descriptions but cannot resolve cases where two skills intended scopes genuinely overlap. We identify a diagnostic (a large train-validation F1 gap) that flags the latter cases for architectural rather than text-level intervention.
- Abstract（参考訳）: エンタープライズAIエージェントは、自然言語のスキル記述とクエリをマッチングすることで、ユーザクエリを特殊なスキルにルーティングする。
2つのスキルが重複する記述を共有している場合、ルーティング LLM はクエリを誤って処理します。
エージェントが数十のスキルにスケールするにつれて、ルーティングの精度を維持するために手動で記述をチューニングすることが、重要なエンジニアリングボトルネックとなる。
実運用企業グループチャットエージェント(9スキル,372レグレッションケース)に,自動記述最適化パイプラインをデプロイする。
パイプラインは、平均79.2%のF1の記述を生成し、手動で調整した記述を79.4%のF1(スキル毎の平均差-0.20%)で表し、スキル毎のエンジニアリング労力を120分から3.8分に短縮した(32倍のスピードアップ)。
次に、このマッチを実際に駆動するパイプラインコンポーネントを調べます。
プロダクションシステムとToolBench(16kツール)の両方のシステム的アブレーションにより、利用可能な偽陽性および偽陰性ケースを使用した単一のLCM書き換えが、利用可能な改善のほとんどを捉えていることが明らかになった。
テストしたその他の設計選択(イテレーション予算、フィードバック信号の構成、混乱したペアの二重編集、トレーニングセットサイズ)は、それぞれ最終F1に0.5%以下で影響を与えます。
説明最適化は、重複する説明によるスキル衝突に対処するが、2つのスキル意図のスコープが真に重複するケースを解決できない。
我々は、テキストレベルの介入ではなく、アーキテクチャ上の後者のケースにフラグを付ける診断(大規模な列車検証F1ギャップ)を識別する。
関連論文リスト
- Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳（メタデータ） (2026-08-18T09:52:48Z) - Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
ASSAYは、生成をキュレーションから分離するフレームワークである。
スキルごとの因果属性を小さな開発セットで計算する。
ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
論文 参考訳（メタデータ） (2026-06-13T16:37:38Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - AIP: A Graph Representation for Learning and Governing Agent Skills [1.1458853556386797]
現在、エージェントスキルは、エージェントがすべてのセッションでどのように振る舞うかを読み、解釈し、再導出する必要があるフリーフォームの散文で構成されている。
これは、実装が重いタスクに対する信頼性の低下と、スキル創造と改善の難しさの2つの複合コストを課します。
Agent Instruction Protocol (AIP) は両方とも、有向実行グラフとしてスキルをモデル化することで対処する。
コンパイラのメタスキルは、既存の人書きスキルをこの形式に変換する。
論文 参考訳（メタデータ） (2026-06-03T12:02:49Z) - Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills [21.971456179996093]
Trace2Skillは、人間の専門家がいかにスキルを作成できるかを反映するフレームワークです。
個々のトラジェクトリにシーケンシャルに反応する代わりに、Trace2Skillは並列なサブエージェント群を派遣して、さまざまな実行プールを分析する。
トラジェクトリ固有のレッスンを抽出し、階層的にそれらをインダクティブ推論を通じて統合され、コンフリクトフリーなスキルディレクトリに集約する。
論文 参考訳（メタデータ） (2026-03-26T08:26:38Z) - SkillRouter: Skill Routing for LLM Agents at Scale [18.540967600258607]
ユーザタスクが与えられたら、システムは、下流の計画や実行の前に、関連するスキルを特定する必要がある。
既存のエージェントスタックはプログレッシブな開示に依存しており、完全な実装ボディを隠蔽しながら、スキル名と記述のみを公開する。
1.2Bのコンパクトなフルテキスト検索/参照パイプラインであるSkillを提示する。
論文 参考訳（メタデータ） (2026-03-23T18:23:59Z) - AutoPrune: Each Complexity Deserves a Pruning Policy [58.448785378705566]
Complexity Pruning(AutoPrune)は、プルングポリシーをさまざまなサンプルやタスクの複雑さに合わせて調整する、トレーニングフリーのプラグイン・アンド・プレイフレームワークである。
我々はAutoPruneを、標準的な視覚適応タスクと、自律運転のためのビジョン・ランゲージ・アクションモデルで評価する。
論文 参考訳（メタデータ） (2025-09-28T15:09:00Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。