論文の概要: Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills
- arxiv url: http://arxiv.org/abs/2610.17860v1
- Date: Tue, 13 Oct 2026 07:23:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.542411
- Title: Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills
- Title(参考訳): ソクラテススキル学習 : トランスファー可能なエージェントスキルのインターリービング指導と実践
- Abstract要約: ソクラテス・スキル・ラーニング(Socratic Skill Learning)は、学生の実践と専門家の教えをインターリーブする。
学生は唯一の環境オペレータであり、スキルの作者である。
SSLは、Skillリビジョン全体で未解決の質問を追跡して、レビューを選択してフォーカスする。
- 参考スコア(独自算出の注目度): 41.786001653415894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent Skills improve LLM agents by making task knowledge reusable across sessions. Learning transferable Skills requires evidence about a procedure and its conditions of use, which a successful task attempt can leave untested. We introduce Socratic Skill Learning (SSL), which interleaves expert teaching with Student practice. An Educator guides investigation while the Student remains the sole environment operator and Skill author, able to question, test, and adapt advice. To test reuse beyond the learning task, we construct SkillTransferBench, with 35 task families and 408 executable cases, pairing public variation specifications with held-out evaluation in fresh solver sessions. On the main 22-family, 155-case cohort, Fixed-Window SSL reaches 0.801 utility, versus 0.723 without a Skill, 0.761 for adapted Trace2Skill (trajectory distillation), and 0.751 for adapted SKILL-KD (contrastive distillation). Across three model pairs on shared families, interleaved guidance outperforms expert authoring and post-hoc teaching. Process analysis links guidance to Student writing and package revision; a case study shows the Student testing and refining a proposed procedure for later reuse. As demand for new lessons falls, the cost of fixed-window review grows. Issue-Guided SSL tracks unresolved questions across Skill revisions to select and focus review, reaching 0.805 utility with 61.7% fewer Educator tokens and 16.9% fewer total acquisition tokens than Fixed-Window SSL on the main cohort.
- Abstract(参考訳): エージェントスキルは、セッション間でタスク知識を再利用することによって、LLMエージェントを改善する。
トランスファー可能なスキルの学習には、手順とその使用条件に関する証拠が必要である。
本稿では,学生の実践と専門家の指導をインターリーブするソクラティックスキル学習(SSL)を紹介する。
教育者は、学生が唯一の環境オペレータでスキルの作者であり、質問し、テストし、適応することのできる調査を指導する。
学習タスク以外の再利用をテストするために,35のタスクファミリと408の実行可能なケースを備えたSkillTransferBenchを構築した。
メイン22ファミリーでは、155ケースのコホートであるFixed-Window SSLが0.801ユーティリティに達し、スキルなし0.723、Trace2Skill(軌道蒸留)0.761、SKILL-KD(反対蒸留)0.751に達する。
共有家族における3つのモデルペア間の相互指導は、専門家のオーサリングやポストホック教育より優れている。
プロセス分析は、学生の書き書きとパッケージのリビジョンに関するガイダンスをリンクする; ケーススタディは、学生が後で再利用するための提案された手順をテストし、修正することを示している。
新たな授業の需要が減少するにつれて、固定窓レビューのコストが増大する。
Issue-Guided SSLは、Skillリビジョン全体で未解決の問題を追跡して、レビューの選択とフォーカスを行い、Educatorトークンを61.7%、総獲得トークンを16.9%削減した0.805ユーティリティに達した。
関連論文リスト
- Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。
標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
論文 参考訳(メタデータ) (2026-09-01T17:00:30Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳(メタデータ) (2026-08-14T07:26:38Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳(メタデータ) (2026-06-12T08:20:09Z) - AI-Assisted Code Review as a Scaffold for Code Quality and Self-Regulated Learning: An Experience Report [4.541490370053892]
GitHubのプルリクエスト(Human-in-the-loop)に直接統合されたLCM-as-reviewerについて検討する。
自己統制学習プロセスの行動指標としてのエンゲージメントと応答性について検討した。
i)認知的オフロードを緩和しながら学習を足場とするAIレビュアの作業フロー設計、(ii)正当性のある2つのコホート間での横断的な比較、(iv)責任を負う学生主導のAI支援レビューに対するエビデンスベースの教育的レコメンデーション。
論文 参考訳(メタデータ) (2026-04-25T11:10:57Z) - AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。
トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。
AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
論文 参考訳(メタデータ) (2025-10-09T06:38:37Z) - TutorBench: A Benchmark To Assess Tutoring Capabilities Of Large Language Models [10.963195858672627]
TutorBenchは、大規模言語モデル(LLM)のコアチューリングスキルを厳格に評価するために設計されたデータセットと評価ベンチマークである。
サンプルは、(i)学生の混乱に合わせた適応的な説明を生成すること、(ii)学生の作業に対して実行可能なフィードバックを提供すること、(iii)効果的なヒント生成を通じて活発な学習を促進すること、の3つの一般的な学習課題から抽出される。
我々はTutorBench上で16個のフロンティアLLMを評価し,その性能と挙動を詳細に解析した。
論文 参考訳(メタデータ) (2025-10-03T01:41:09Z) - RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs? [92.4931695205957]
DELTA-Codeは、学習可能性と伝達可能性という2つの基本的な側面を探索するために設計された、合成符号問題ファミリーのベンチマークである。
実験の結果, ほぼゼロ報酬の期間が延長された後, RL訓練モデルが突然, ほぼ完全な精度に上昇した。
従来未解決であった問題ファミリの学習性を確保するため,深い報酬を伴うウォームアップ,経験リプレイ,カリキュラムトレーニング,ループ内検証などの重要なトレーニング項目を探索する。
論文 参考訳(メタデータ) (2025-09-25T11:20:56Z) - Learning to Love Edge Cases in Formative Math Assessment: Using the AMMORE Dataset and Chain-of-Thought Prompting to Improve Grading Accuracy [0.0]
本稿では,Rori による 53,000 個の質問応答対の新たなデータセットである AMMORE を紹介する。
2つの実験により,大規模言語モデル(LLM)を用いて,難解な学生の回答を段階的に評価する。
論文 参考訳(メタデータ) (2024-09-26T14:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。