Fugu-MT 論文翻訳(概要): SPT: Skills as Pre-Training Data for Agentic Language Models

論文の概要: SPT: Skills as Pre-Training Data for Agentic Language Models

arxiv url: http://arxiv.org/abs/2608.26563v1
Date: Thu, 27 Aug 2026 03:08:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.231961
Title: SPT: Skills as Pre-Training Data for Agentic Language Models
Title（参考訳）: SPT:エージェント言語モデルのための事前学習データとしてのスキル
Abstract要約: エージェント言語モデルは、主に訓練後のツールコールトレースとエージェントトラジェクトリに基づいて訓練されている。本稿では,SkillCorpus に因果言語モデリングを適用した Skill Pre-Training (SPT) について紹介する。 SPTは、一般的なデータや軌道上のデータに基づいてエージェントのパフォーマンスを継続的に改善するが、概ね一般的な性能は保っている。
参考スコア（独自算出の注目度）: 4.440180697096421
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Agentic (tool-using) language models are mainly trained on tool-call traces and agent trajectories during post-training. These data provide direct behavioral supervision, but producing them requires task environments, execution, and verification, making broad tool and task coverage expensive. Publicly available skills offer another source of training data: they encode reusable tool semantics and workflows but are typically used only as inference-time context. We introduce Skill Pre-Training (SPT), a mid-training method that applies causal language modeling to SkillCorpus, a collection of public multi-file skill packages, optionally mixed with general data. To preserve relations among files within each package, we also introduce Reference Insert, a reference-aware assembly strategy that places supporting files near their mentions in the primary instruction. Experiments across multiple model scales and post-training recipes show that SPT consistently improves agentic performance over mid-training on general or trajectory data, while largely preserving general performance. Data mixture experiments show additional benefits from combining skill data with general annealing corpora. These results indicate that skill packages are a valuable data source for pre-training agentic language models.
Abstract（参考訳）: エージェント言語モデルは、主に訓練後のツールコールトレースとエージェントトラジェクトリに基づいて訓練されている。これらのデータは直接的な行動監視を提供するが、それらを生成するにはタスク環境、実行、検証が必要である。再利用可能なツールセマンティクスとワークフローをエンコードするが、通常は推論時のコンテキストとしてのみ使用される。本稿では,SkillCorpusに因果言語モデリングを適用した中間学習手法であるSkill Pre-Training(SPT)を紹介する。各パッケージ内のファイル間の関係を維持するために,参照型アセンブリ戦略であるReference Insertを導入する。複数のモデルスケールにわたる実験と後学習のレシピにより、SPTは一般的なデータや軌道データに基づいてエージェントのパフォーマンスを一貫して改善するが、概ね一般的な性能は保たれている。データ混合実験は、一般的なアニーリングコーパスとスキルデータを組み合わせることで、さらなる利点を示す。これらの結果から,スキルパッケージはエージェント言語モデルの事前学習に有用なデータソースであることが示唆された。

関連論文リスト

Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents [85.02904078131682]
本稿では,エージェントデータセット間の"インターリングア"として機能する軽量表現言語であるエージェントデータプロトコル(ADP)を紹介する。 ADPはAPI/ツールの使用、ブラウジング、コーディング、ソフトウェアエンジニアリング、一般的なエージェントなど、さまざまなタスクを捉えるのに十分な表現力を持っている。すべてのコードとデータが公開され、ADPが標準化され、スケーラブルで再現可能なエージェントトレーニングの障壁を低くすることを期待している。
論文参考訳（メタデータ） (2025-10-28T17:53:13Z)
Metadata Conditioning Accelerates Language Model Pre-training [76.54265482251454]
そこで本研究では,Metadata Conditioning then Cooldown (MeCo) と呼ばれる新しい手法を提案する。 MeCoは、さまざまなモデルスケール(600Mから8Bパラメータ)とトレーニングソース(C4、RefinedWeb、DCLM)の事前トレーニングを著しく加速する MeCoは驚くほどシンプルで、計算オーバーヘッドを追加せず、より有能でステアブルな言語モデルを生成するという約束を示す。
論文参考訳（メタデータ） (2025-01-03T18:59:23Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning [98.26836657967162]
textbfAgentOhanaは、さまざまなシナリオにまたがって、異なる環境からエージェントのトラジェクトリを集約する。 AIエージェント用に調整された大規模なアクションモデルである textbfxLAM-v0.1 は、さまざまなベンチマークで例外的なパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-23T18:56:26Z)
TAROT: A Hierarchical Framework with Multitask Co-Pretraining on Semi-Structured Data towards Effective Person-Job Fit [60.31175803899285]
本稿では,階層型マルチタスク協調訓練フレームワークであるTAROTを提案する。 TAROTは、プロファイルとジョブにおける半構造化テキストをターゲットにしており、取得したセマンティック情報を各レベルで制限するために、複数のきめ細かい事前訓練タスクと共に保持されている。
論文参考訳（メタデータ） (2024-01-15T07:57:58Z)
ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T21:51:04Z)
Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文参考訳（メタデータ） (2023-05-16T03:38:06Z)
Annotated Dataset Creation through General Purpose Language Models for non-English Medical NLP [0.5482532589225552]
我々の研究では、事前訓練された言語モデルをデータ取得のトレーニングに活用することを提案する。我々は、ドイツのテキストであるGPTNERMEDの医療用NERモデルをトレーニングするために使用するカスタムデータセットを作成します。
論文参考訳（メタデータ） (2022-08-30T18:42:55Z)
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data [38.20984369410193]
大規模な事前訓練された言語モデルは、プロンプトを通じて様々な下流タスクにおいて、ますますよく機能している。モデルがタスク固有の知識を、特にゼロショット設定でどこで学習するかは、まだ不明である。この研究では、モデルが事前学習からタスク固有の能力を示す証拠を見つけ、特に事前学習データのごく小さなサブセットを見つけることに興味がある。
論文参考訳（メタデータ） (2022-05-25T09:25:06Z)
On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文参考訳（メタデータ） (2021-09-08T10:39:57Z)
Counterfactually-Augmented SNLI Training Data Does Not Yield Better Generalization Than Unaugmented Data [27.738670027154555]
自然言語理解データのカウンターファクト拡張は、トレーニングデータの収集に有効な方法ではない。本研究は、英語の自然言語推論データを用いて、モデル一般化とロバスト性をテストする。
論文参考訳（メタデータ） (2020-10-09T18:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。