論文の概要: Hypothesis-Driven Skill Optimization for LLM Agents
- arxiv url: http://arxiv.org/abs/2606.22330v1
- Date: Sun, 21 Jun 2026 04:43:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 19:03:57.973086
- Title: Hypothesis-Driven Skill Optimization for LLM Agents
- Title（参考訳）: LLMエージェントの仮説駆動型スキル最適化
- Authors: Fangxin Shang, Yehui Yang,
- Abstract要約: そこで本研究では,スキルキュレーターとエージェントエグゼキュータの両方を凍結推論エンドポイントとする,フリートレインフレームワークを提案する。
ALFWorldでは、Qwen3.6-27Bで+6.9 SRポイント、Qwen3.6-27Bで+4.0ポイントの改善がなされている。
- 参考スコア（独自算出の注目度）: 2.716362160018478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: External skills can improve action-oriented LLM agents without changing model weights, but persistent skill updates are risky when they are distilled from sparse or noisy trajectories. A plausible reflection may encode a useful procedure, a spurious shortcut, or a rule that the target executor cannot reliably follow. We propose Hypothesis-Driven Skill Optimization (HDSO), a train-free framework in which both the skill curator and the agent executor are frozen inference endpoints. The curator observes executor traces, proposes a falsifiable hypothesis with an explicit validation plan, instantiates the hypothesis as a candidate skill package, validates the package through paired control/treatment executions, reviews behavior differences, and consolidates only supported candidates into an approved repository. The executor consumes approved skills through progressive disclosure, preserving the executor-only path when no skill is selected. On ALFWorld, HDSO improves executor-only baselines by +6.9 Avg. SR points for Qwen3-8B and +4.0 points for Qwen3.6-27B. Under 20% randomly flipped success/failure feedback during skill discovery and validation, HDSO preserves a +7.1-point gain for Qwen3-8B. Transfer and heterogeneous-pair diagnostics further show that validated repositories can be useful beyond the run that produced them, but cross-model curation succeeds only when curator diagnosis, executor capability, and validation evidence align. HDSO provides an auditable skill lifecycle for frozen action agents rather than an unconstrained memory accumulation procedure.
- Abstract（参考訳）: 外部スキルは、モデル重量を変化させることなく、アクション指向のLLMエージェントを改善することができるが、スパースまたはノイズのある軌跡から蒸留された場合、永続的なスキル更新は危険である。
もっともらしいリフレクションは、有用な手順、急進的なショートカット、あるいは目標執行者が確実に従えない規則を符号化することができる。
提案手法は,技術キュレーターとエージェントエグゼキュータの両方が凍結推論エンドポイントである列車フリーフレームワークである仮説駆動スキル最適化(HDSO)を提案する。
キュレーターは、実行者トレースを観察し、明示的な検証計画付き偽証可能な仮説を提案し、仮説を候補スキルパッケージとしてインスタンス化し、ペア化された制御/処理の実行を通じてパッケージを検証し、振る舞いの相違をレビューし、サポート対象の候補のみを承認されたリポジトリに統合する。
実行者は、プログレッシブ開示を通じて承認されたスキルを消費し、スキルが選択されていない場合に、実行者のみのパスを保存する。
ALFWorldでは、HDSOはエグゼキュータのみのベースラインを+6.9 Avg改善している。
SRはQwen3-8B、+4.0はQwen3.6-27Bである。
スキル発見と検証の間にランダムに成功/失敗のフィードバックを20%下回ると、HDSOはQwen3-8Bのプラス7.1ポイントのゲインを保持する。
トランスファーと異種ペア診断は、検証済みのリポジトリが生成した実行以上に有用であることを示しているが、クロスモデルキュレーションは、キュレーター診断、実行能力、バリデーションのアライメントが整った場合にのみ成功する。
HDSOは、制限のないメモリ蓄積手順ではなく、フリーズアクションエージェントの監査可能なスキルライフサイクルを提供する。
関連論文リスト
- SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。
Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。
PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
論文 参考訳（メタデータ） (2026-06-06T11:12:11Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳（メタデータ） (2026-06-03T20:02:35Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - Proper Scoring Rules for Agentic Uncertainty Quantification [0.038379177968040606]
Trajectory Proper Score (TPS) は、厳密に適切なトラジェクトリレベルスコアルールの予測非依存のファミリーである。
軌道ECEは分解能が弱いが、スカラー化された軌道ブライアは崩壊したスカラーのみを付与する。
論文 参考訳（メタデータ） (2026-05-23T22:22:00Z) - Harnessing LLM Agents with Skill Programs [58.356514745548026]
HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。
PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。
HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
論文 参考訳（メタデータ） (2026-05-18T01:35:11Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - PYTHALAB-MERA: Validation-Grounded Memory, Retrieval, and Acceptance Control for Frozen-LLM Coding Agents [0.0]
本稿では,ローカル検証条件付きコード生成のための軽量外部コントローラであるPYTHALAB-MERAを紹介する。
厳密な検証ゲートを持つ強化学習コーディングタスクにおけるローカルCLIアーティファクトとしての実装を評価する。
論文 参考訳（メタデータ） (2026-05-08T20:39:32Z) - E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing [7.984665398116918]
ブラックボックス検証器のスコアを偽アラームレートの証明可能な制御で決定ルールに変換する方法であるe-valuatorを導入する。
評価者は、エージェントの軌道のすべてのステップで統計的に有効であるシーケンシャルな仮説テストを開発するために、プロセスからのツールに基づいて構築される。
E-valuatorは6つのデータセットと3つのエージェントをまたいだ他の戦略よりも高い統計的パワーとより良い誤報率制御を提供することを示す。
論文 参考訳（メタデータ） (2025-12-02T05:59:18Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。