論文の概要: Self-Supervised Skill Optimization
- arxiv url: http://arxiv.org/abs/2607.28777v1
- Date: Thu, 30 Jul 2026 19:04:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 16:35:22.212541
- Title: Self-Supervised Skill Optimization
- Title(参考訳): 自己監督型スキル最適化
- Abstract要約: Self-Supervised Skill Optimizationは、未ラベルのタスクインスタンスだけで再利用可能なスキルを学ぶ。
別個の行動抽出器は、裁判官の決定を見ることなく、行動の違いを識別する。
すると、結果として得られた証拠によって行動がランク付けされ、最高位の行動から新しい完全なスキルが生み出される。
- 参考スコア(独自算出の注目度): 28.391558425917875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent skills provide frozen large language model (LLM) agents with reusable procedural guidance, and recent work shows that such skills can be optimized with ground-truth (GT) feedback. Many applications, however, lack GT labels, task scores, rewards, or reliable task-specific evaluators. We therefore introduce Self-Supervised Skill Optimization (SSO), a comparative framework that learns a reusable skill from unlabeled task instances alone. At each step, SSO runs the current skill on an unlabeled batch, uses a subset of the resulting executions to generate complete skill probes, and runs the probes on the same batch. An LLM judge compares the resulting answers, trajectories, artifacts, or terminal states. A separate behavior extractor identifies behavioral differences without seeing the judge's decisions. SSO uses these decisions to aggregate evidence for and against the observed behaviors across instances. It then ranks the behaviors by the resulting evidence and renders a new complete skill from the highest-ranked behaviors. The update is accepted only if the new skill outperforms the current one on an unlabeled validation set. SSO outperforms existing GT-free prompt optimizers on both closed-ended and open-ended tasks. On closed-ended benchmarks, it approaches and sometimes exceeds the strongest GT-based skill optimizer without using any GT feedback.
- Abstract(参考訳): エージェントスキルは、再利用可能な手続き的ガイダンスを備えた凍結した大言語モデル(LLM)エージェントを提供し、最近の研究は、グラウンドトゥルース(GT)フィードバックによって、そのようなスキルを最適化できることを示している。
しかし、多くのアプリケーションはGTラベル、タスクスコア、報酬、信頼性の高いタスク固有評価器を欠いている。
そこで我々は、未ラベルのタスクインスタンスのみから再利用可能なスキルを学ぶための比較フレームワークであるSelf-Supervised Skill Optimization (SSO)を紹介した。
各ステップで、SSOは未ラベルのバッチ上で現在のスキルを実行し、結果の実行のサブセットを使用して完全なスキルプローブを生成し、同じバッチ上でプローブを実行する。
LLM判事は、結果の回答、軌道、成果物、端末状態を比較する。
別個の行動抽出器は、裁判官の決定を見ることなく、行動の違いを識別する。
SSOはこれらの決定を使用して、インスタンス全体で観察された行動の証拠を収集する。
すると、結果として得られた証拠によって行動がランク付けされ、最高位の行動から新しい完全なスキルが生み出される。
更新は、新しいスキルが未ラベルのバリデーションセットで現在のスキルを上回った場合にのみ受け入れられる。
SSOは、閉じたタスクとオープンなタスクの両方において、既存のGTフリープロンプトオプティマイザより優れている。
クローズドエンドベンチマークでは、GTフィードバックを使わずに最強のGTベースのスキルオプティマイザを超えることがある。
関連論文リスト
- S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳(メタデータ) (2026-08-31T17:05:41Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳(メタデータ) (2026-08-03T12:52:04Z) - AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。
すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。
鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
論文 参考訳(メタデータ) (2026-07-16T21:33:05Z) - Hypothesis-Driven Skill Optimization for LLM Agents [2.716362160018478]
そこで本研究では,スキルキュレーターとエージェントエグゼキュータの両方を凍結推論エンドポイントとする,フリートレインフレームワークを提案する。
ALFWorldでは、Qwen3.6-27Bで+6.9 SRポイント、Qwen3.6-27Bで+4.0ポイントの改善がなされている。
論文 参考訳(メタデータ) (2026-06-21T04:43:20Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳(メタデータ) (2026-06-12T08:20:09Z) - SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。
トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。
SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
論文 参考訳(メタデータ) (2026-06-11T13:12:10Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳(メタデータ) (2026-06-03T20:02:35Z) - Counterfactual Trace Auditing of LLM Agent Skills [38.396785087675774]
スキルがエージェントの振る舞いをどのように変化させるかを測定するためのフレームワークを紹介します。
SWE-Skills-Bench上のCTAを49のソフトウェアエンジニアリングタスクでClaudeでインスタンス化する。
パスレートは平均で0.3ポイントしか変化せず、集合効果はほとんどなかった。
論文 参考訳(メタデータ) (2026-05-12T10:56:18Z) - BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。
RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
論文 参考訳(メタデータ) (2025-10-30T11:15:23Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳(メタデータ) (2025-08-05T12:52:09Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳(メタデータ) (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。