論文の概要: Not All Skills Help: Measuring and Repairing Agent Knowledge
- arxiv url: http://arxiv.org/abs/2606.15390v1
- Date: Sat, 13 Jun 2026 16:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.545599
- Title: Not All Skills Help: Measuring and Repairing Agent Knowledge
- Title（参考訳）: すべてのスキルが役に立たない:エージェントの知識の測定と修復
- Authors: Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao,
- Abstract要約: ASSAYは、生成をキュレーションから分離するフレームワークである。
スキルごとの因果属性を小さな開発セットで計算する。
ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
- 参考スコア（独自算出の注目度）: 47.498075849595374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents can improve without weight updates by accumulating natural-language skills from experience, but current systems entrust every decision about which skills to keep and how to apply them to LLM judgment alone. We argue that this conflates two distinct roles: generating a skill from experience is a creative act that judgment handles well, while deciding whether that skill actually helps requires empirical evidence across many tasks. Measuring per-skill causal contributions via randomized masking, we find that skill libraries exhibit pervasive causal heterogeneity: individual skills routinely help on some task types while hurting on others, yet their opposing effects cancel in aggregate, making them invisible to global curation methods. We propose ASSAY, a framework that separates generation from curation: it computes a per-skill causal attribution on a small development set, restructures the library offline, and suppresses skills with negative predicted effect for each test task. Across seven base models spanning four providers and two benchmarks (AppWorld and tau-bench), ASSAY consistently improves over prior skill-curation approaches. On AppWorld's hardest split, DeepSeek-V3 achieves 69.3% task-goal completion (47.4% relative improvement), a new state of the art among all published methods including weight-tuned approaches. On tau-bench retail, GPT-4.1 improves by 8.7% relative, advancing past o4-mini, o1, and GPT-4.5 on the public leaderboard without any weight modification. Ablation traces the dominant gain to per-task masking, confirming that the bottleneck is matching skills to tasks at inference time, not removing bad skills globally. Code is available at https://github.com/aiming-lab/assay.
- Abstract（参考訳）: LLMエージェントは、経験から自然言語スキルを蓄積することで、重量の更新なしに改善することができるが、現在のシステムは、どのスキルを保持すべきか、どのようにLLM判断に適用するかについて、あらゆる決定を委任している。
経験からスキルを生み出すことは、判断がうまく処理する創造的な行為であり、そのスキルが実際に多くのタスクで経験的な証拠を必要とするかどうかを判断することです。
ランダム化マスキングによるスキルごとの因果貢献を計測した結果,スキルライブラリは多彩な因果不均一性を示すことが明らかとなった。
このフレームワークは,小さな開発セット上で,スキルごとの因果属性を計算し,ライブラリをオフラインに再構築し,各テストタスクに対して負の予測効果でスキルを抑圧する。
4つのプロバイダと2つのベンチマーク(AppWorldとTau-bench)にまたがる7つのベースモデルに対して、ASSAYは、従来のスキルキュレーションアプローチよりも一貫して改善されている。
AppWorldの最も難しい分割では、DeepSeek-V3が69.3%のタスクゴール完了(47.4%の改善)を達成した。
タウベンチでは、GPT-4.1は相対的に8.7%向上し、重量調整なしで、公共のリーダーボード上でo4-mini、o1、GPT-4.5を通り過ぎている。
アブレーションは、タスクごとのマスキングの圧倒的な増加を辿り、ボトルネックは推論時にタスクにマッチするスキルであり、世界中で悪いスキルを取り除くものではないことを確認します。
コードはhttps://github.com/aiming-lab/assay.comから入手できる。
関連論文リスト
- SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。
トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。
SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
論文 参考訳（メタデータ） (2026-06-11T13:12:10Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳（メタデータ） (2026-06-04T12:16:08Z) - SkillsInjector: Dynamic Skill Context Construction for LLM Agents [16.631471381875816]
既存の方法では、静的なステップとしてスキルインジェクションを扱い、一定の基準でスキルを選択し、事前に予算を固定し、説明をそのまま残します。
本稿では,これらの決定に共同で対処する2段階適応手法であるSkillsInjectorを提案する。
Tau2-bench、SkillsBench、ALFWorldで、SkillsInjectorは最強のベースラインを3.9点、6.1点、7.3ポイント改善した。
論文 参考訳（メタデータ） (2026-05-28T11:44:32Z) - MOCHA: Multi-Objective Chebyshev Annealing for Agent Skill Optimization [35.57702110117083]
MOCHA (Multi-lang Chebyshev Annealing) は、非居住地域を含む全前面をカバーしている。
MOCHAは全てのタスクを突破し、最強のベースラインよりも平均精度が7.5%向上した。
論文 参考訳（メタデータ） (2026-05-19T04:07:41Z) - SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。
SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。
実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2026-05-12T12:21:49Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - SkillLens: Adaptive Multi-Granularity Skill Reuse for Cost-Efficient LLM Agents [6.293920920196533]
SkillLensは階層的なスキル進化フレームワークで、スキルをポリシー、戦略、手順、プリミティブの4層グラフにまとめる。
セマンティックなスキルシードを検索し、スキルグラフの次数補正されたランダムウォークを通じて拡張し、各訪問したユニットが受け入れられ、分解され、書き直され、スキップされるかどうかを検証器を使って決定する。
MuLocbenchとALFWorld全体で、SkillLensは、強いスキルベースのベースラインよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-05-08T18:48:04Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。