論文の概要: SkillSeek: Revisiting Agent Skill Retrieval at Marketplace Scale
- arxiv url: http://arxiv.org/abs/2609.38822v1
- Date: Wed, 30 Sep 2026 02:46:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.054469
- Title: SkillSeek: Revisiting Agent Skill Retrieval at Marketplace Scale
- Title(参考訳): SkillSeek: マーケットスケールでのエージェントスキル検索の再検討
- Abstract要約: 我々は、標準IRレシピから構築されたオープンソースのスキルレトリバーであるSkillSeekを紹介する。
89タスクのSkillsBenchベンチマークでは、プール、バックボーン、メソッドの4倍の11ドルのグリッドで、SkillSeekはLiuらのLLM経由のループと同等に到達した。
第一段階のリコール天井では、このパターンが説明されており、裁判内支出総額は51.30ドルから27.54ドルへと減少している(ノスキルベースラインの50セント)。
- 参考スコア(独自算出の注目度): 16.23026593963449
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Anthropic's Agent Skills package reusable procedural know-how for an LLM agent into SKILL.md directories, and open-source aggregations have grown past 230,000 skills, making selection rather than authoring the bottleneck. The standing answer in the literature outsources selection to the agent itself: an LLM-mediated retrieval loop that rewrites queries and refines candidates inside the agent's decision loop, paying LLM tokens on every task. We present SkillSeek, an open-source two-stage skill retriever built from the standard IR recipe (a BGE-base bi-encoder feeding a small cross-encoder, exposed over MCP). Across a $4 \times 11$ grid of pool, backbone, and method on the 89-task SkillsBench benchmark, SkillSeek reaches observed parity with the LLM-mediated loop of Liu et al. at essentially no extra cost: plain bm25 alone records a pass rate at or above their refined loop on three of four settings, and a small cross-encoder covers the remaining difference on the fourth. A first-stage recall ceiling explains the pattern, and total per-trial spend drops from USD 51.30 to USD 27.54 (within fifty cents of the no-skill baseline). Under the SkillsBench tasks and OpenHands harness we tested, this positions the standard IR recipe as a strong default for agent-skill retrieval, with LLM-mediated alternatives a natural fit for cases where deterministic methods fall short.
- Abstract(参考訳): Anthropic の Agent Skills パッケージは LLM エージェントの SKILL.md ディレクトリへの手続き的ノウハウを再利用しており、オープンソースのアグリゲーションはボトルネックのオーサリングよりもセレクションが重要である。
LLMによる検索ループは、クエリを書き換え、エージェントの判断ループ内の候補を精算し、すべてのタスクにLLMトークンを支払う。
我々は、標準IRレシピから構築されたオープンソースの2段階スキルレトリバーであるSkillSeekを紹介する(BGEベースのバイエンコーダが小さなクロスエンコーダを供給し、MPP上に露出する)。
SkillSeekは89タスクのSkillsBenchベンチマークで、プール、バックボーン、メソッドの4ドル12セントのグリッドにまたがって、LiuらのLLM経由のループと基本的に余分なコストで同等に到達している。
第一段階のリコール天井では、このパターンが説明されており、裁判ごとの支出額は51.30ドルから27.54ドル(ノスキルベースラインの50セント)に減少している。
テストしたSkillsBenchタスクとOpenHandsのハーネスでは、標準的なIRレシピをエージェントスキル検索の強力なデフォルトとして位置づけています。
関連論文リスト
- The Router Within: Eliciting Native Skill Routing from a Frozen LLM [36.31894794808421]
スキルはエージェントのパラメトリックな知識を拡張し、彼らが約束する利益は正しい知識を選ぶことにかかっている。
凍結剤LLMは、既に独自の前方通過路でルーティング信号を搬送していることを示す。
一見すると、各スキルの中間層状態が2つのマップを通して投影される。
評決はその後、ショートリスト化されたスキルのフォワードパスを再開し、モデル自身の可能性とイエス/ノー判定を読み取る。
論文 参考訳(メタデータ) (2026-09-14T17:58:27Z) - SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents [16.77727447235193]
SkillCorpusは、オープンスキルのエコシステムを集約し、キュレートし、マッチングし、評価するフレームワークです。
マルチステージパイプラインを通した821,000人のクロールスキルを、16クラスの分類と3つの品質面(実用性、堅牢性、安全性)によって構成された96,401のスキルにフィルタリングする。
我々は,3つのベンチマーク(SkillsBench,GDPVal,QwenClawBench),2つのハーネス,2つのオープンバックボーン(フロンティアロバストネスチェック)でエンドツーエンドを評価する。
論文 参考訳(メタデータ) (2026-07-17T01:55:17Z) - Glite ARF: Verifier-Driven Research with Parallel LLM Coding Agents [0.0]
我々は、LLMコーディングエージェントを並列に実行するオープンソースのPythonフレームワークであるGlite ARFを研究レポジトリで紹介する。
人間の研究者は、どの仮説をテストするかを選択し、コーディングエージェントは固定された構造の下で個々のタスクを実装し、決定論的Python検証スクリプトはタスク分離を実行する。
我々はGlite ARFを用いてBEA 2026語彙差分共有タスクに応募し、まずクローズドトラックに、そして3つのターゲット言語でオープントラックに配置した。
論文 参考訳(メタデータ) (2026-06-25T17:52:26Z) - Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose [0.0]
LLMタスクデコンポスタ、FAISSインデックス付きバイエンコーダスキルレトリバー、依存性対応DAGプランナを組み合わせた分解・検索・構成フレームワークであるSkillWeaverを提案する。
SkillWeaverはコンテキストウィンドウの消費を99%以上削減し,転送実験により一般化を確認した。
論文 参考訳(メタデータ) (2026-06-16T15:27:55Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳(メタデータ) (2026-05-27T04:48:40Z) - SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills [0.0]
SkillSieveは3層検出フレームワークで、必要に応じてより深く分析する。
400スキルのラベル付きベンチマークでは、SkillSieveは0.800 F1を達成し、ClawVetの0.421を上回った。
論文 参考訳(メタデータ) (2026-04-08T00:58:48Z) - SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。
6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。
BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文 参考訳(メタデータ) (2026-02-05T18:25:24Z) - e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs [49.01449646799905]
既存の推論モデルでは外挿がうまく行われていないことが示される。
レシピ e3 は AIME'25 と HMMT'25 のスコアに基づいて最もよく知られた 1.7B モデルを生成する。
e3-1.7Bモデルは、高いpass@1スコアを得るだけでなく、ベースモデルよりもpass@kを改善する。
論文 参考訳(メタデータ) (2025-06-10T17:52:42Z) - Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models [50.11814354654953]
AIエージェントの主な能力は、必要に応じて、学習した基本的なスキルを柔軟に組み合わせることである。
この研究は、スキルを組み合わせる能力を測定するための新しい評価であるSkill-Mixを導入している。
論文 参考訳(メタデータ) (2023-10-26T16:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。