論文の概要: Skill Neologisms: Towards Skill-based Continual Learning
- arxiv url: http://arxiv.org/abs/2605.04970v1
- Date: Wed, 06 May 2026 14:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.874431
- Title: Skill Neologisms: Towards Skill-based Continual Learning
- Title（参考訳）: スキル・ネオロジズム : スキル・ベースの継続的な学習を目指して
- Authors: Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar,
- Abstract要約: スキル・ネオロジズムは、アウト・オブ・ディストリビューション・スキルによって構成されながら、特定のスキルのモデル能力を改善するために学習できることが示される。
これらの結果から,スキル・ネオロジズムは,スキル・ベースの継続的学習へのスケーラブルな道筋を提供する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 46.44104273347049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern LLMs show mastery over an ever-growing range of skills, as well as the ability to compose them flexibly. However, extending model capabilities to new skills in a scalable manner is an open-problem: fine-tuning and parameter-efficient variants risk catastrophic forgetting, while context-based approaches have limited expressiveness and are constrained by the model's effective context. We explore skill neologisms--i.e., soft tokens integrated in the model's vocabulary and optimized to improve capabilities over a specific skill--as a way to selectively extend model capabilities to new skills without weight updates. We first observe that off-the-shelf pre-trained LLMs already demonstrate tokens associated with procedural knowledge. We then show that skill neologisms can be learned to improve model capabilities on specific skills while being composable with out-of-distribution skills, and that independently trained skill neologisms can be composed zero-shot. These results suggest that skill neologisms may provide a scalable path towards skill-based continual learning.
- Abstract（参考訳）: 現代のLLMは、成長を続けるスキルに対する熟達と、それらを柔軟に構成する能力を示している。
しかし、モデル能力をスケーラブルな方法で新しいスキルに拡張することはオープン・プロブレムである: 微調整とパラメータ効率の良い変種は破滅的な忘れをし、コンテキストベースのアプローチは表現力に制限があり、モデルの効果的なコンテキストによって制約される。
モデルのボキャブラリに統合され、特定のスキルよりも機能を改善するために最適化されたソフトトークンを、重み付けなしでモデル能力を新しいスキルに選択的に拡張する方法として、スキル・ネオロジズムを探求する。
まず、既成のLLMが、手続き的知識に関連するトークンを既に示していることを観察する。
次に、スキル・ネオロジズムが、アウト・オブ・ディストリビューション・スキルによって構成されながら、特定のスキルのモデル能力を改善するために学習できることを示し、独立に訓練されたスキル・ネオロジズムをゼロショットで構成できることを示す。
これらの結果から,スキル・ネオロジズムは,スキル・ベースの継続的学習へのスケーラブルな道筋を提供する可能性が示唆された。
関連論文リスト
- From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳（メタデータ） (2026-04-30T09:53:15Z) - SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
推論時のスキル向上は基本的に制限されている。
SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。
SKILL0は標準のRLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-04-02T17:03:05Z) - Lifelong Language-Conditioned Robotic Manipulation Learning [19.640584848758625]
従来の言語条件の操作エージェントは、新しい操作スキルに逐次適応することで、破滅的な古いスキルを忘れてしまう。
SkillsCrafterは、複数のスキルを継続的に学習するように設計された、新しいロボット操作フレームワークである。
論文 参考訳（メタデータ） (2026-03-05T13:30:33Z) - Pretrained Bayesian Non-parametric Knowledge Prior in Robotic Long-Horizon Reinforcement Learning [10.598207472087578]
強化学習(Reinforcement Learning, RL)の手法は通常、新しいタスクをゼロから学習する。
この研究は、潜在的な原始的なスキルモーションを未知の特徴を持つ非パラメトリックな特性を持つものとしてモデル化する手法を導入する。
非パラメトリックモデル、特にDirichlet Process Mixturesは、出生とマージによって強化され、スキルの多様な性質を効果的に捉えるための事前トレーニングに使用される。
論文 参考訳（メタデータ） (2025-03-27T20:43:36Z) - MaestroMotif: Skill Design from Artificial Intelligence Feedback [67.17724089381056]
MaestroMotifはAI支援スキルデザインの手法であり、高性能で適応可能なエージェントを生成する。
本稿では,AIを活用したスキルデザイン手法であるMaestroMotifについて述べる。
論文 参考訳（メタデータ） (2024-12-11T16:59:31Z) - C$\cdot$ASE: Learning Conditional Adversarial Skill Embeddings for
Physics-based Characters [49.83342243500835]
C$cdot$ASEは、物理系文字に対する条件付き適応スキル埋め込みを学習する効率的なフレームワークである。
C$cdot$ASEは、不均一なスキルモーションを、低レベル条件モデルのトレーニングのための均質なサンプルを含む別個のサブセットに分割する。
スキル条件の模倣学習は、訓練後のキャラクターのスキルを明確に制御する。
論文 参考訳（メタデータ） (2023-09-20T14:34:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。