論文の概要: SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training

• arxiv url: http://arxiv.org/abs/2606.02355v1
• Date: Mon, 01 Jun 2026 15:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.373441
• Title: SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training
• Title（参考訳）: SIRI: LLMエージェント訓練における内在的スキルを用いた自己インターナル化強化学習
• Authors: Zhongyu He, Yuanfan Li, Fei Huang, Tianyu Chen, Siyuan Chen, Xingyang Li, Meng Hsuan Yu, Xiangrong Liu, Leyi Wei, Lu Pan, Ke Zeng, Xunliang Cai,
• Abstract要約: ロングホライゾンLSMエージェントは、再利用可能なスキルの恩恵を受けることができるが、既存のスキルベースの手法は、トレーニング中や推論時の永続的なスキル検索に外部スキルジェネレータに依存することが多い。 エージェントが外部スキルジェネレータや推論時スキルバンクを使わずに、スキルの発見、検証、内部化を可能にする3段階フレームワークである、内在的スキルを用いた自己内在的強化学習(SIRI)を提案する。
• 参考スコア（独自算出の注目度）: 39.265999580317974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon LLM agents can benefit from reusable skills, yet existing skill-based methods often rely on external skill generators during training or persistent skill retrieval at inference, increasing engineering complexity, context length, and deployment latency. We propose Self-Internalizing Reinforcement learning with Intrinsic skills (SIRI), a three-phase framework that enables agents to discover, validate, and internalize skills without external skill generators or inference-time skill banks. SIRI first warms up the policy with GiGPO to acquire basic interaction ability and collect successful skill-free trajectories. It then performs self-skill mining, where the current policy summarizes compact skills from its own successful plain rollouts and validates them through paired skill-augmented and skill-free rollouts. Finally, SIRI distills only beneficial skill-guided action tokens into the plain policy using trajectory-level utility and action-level advantage. At inference, the agent runs with the original prompt only. On ALFWorld and WebShop with Qwen2.5-7B-Instruct, SIRI improves GiGPO from 0.908 to 0.930 on ALFWorld and from 0.728 to 0.813 on WebShop, outperforming prompt-based, RL-based, and memory-augmented baselines. Further analysis shows that our self-mining strategy can achieve performance comparable to distillation with closed-source large model. Our code is available at https://github.com/kirito618/SIRI.
• Abstract（参考訳）: ロングホライゾンのLLMエージェントは再利用可能なスキルの恩恵を受けることができるが、既存のスキルベースのメソッドは、トレーニング中の外部スキルジェネレータや推論時の永続的なスキル検索、エンジニアリングの複雑さの増加、コンテキストの長さ、デプロイメントのレイテンシに依存することが多い。 エージェントが外部スキルジェネレータや推論時スキルバンクを使わずに、スキルの発見、検証、内部化を可能にする3段階フレームワークである、内在的スキルを用いた自己内在的強化学習(SIRI)を提案する。 SIRIはまず、GiGPOとのポリシーを温め、基本的な対話能力を獲得し、スキルのない軌道をうまく収集する。 その後、自己スキルマイニングを行い、現在の方針では、自身の成功している平易なロールアウトからコンパクトなスキルを要約し、ペア化されたスキル強化とスキルフリーのロールアウトを通じて検証している。 最後にSIRIは, トラジェクティブレベルのユーティリティとアクションレベルのアドバンテージを用いて, 有益な技術誘導型アクショントークンのみをプレーンポリシーに蒸留する。 推論では、エージェントは元のプロンプトのみで実行される。 ALFWorld と WebShop では Qwen2.5-7B-Instruct で、SIRI は ALFWorld の GiGPO を 0.908 から 0.930 に改善し、WebShop では 0.728 から 0.813 に改善した。 さらに分析した結果,我々のセルフマイニング戦略は,クローズドソース大モデルによる蒸留に匹敵する性能を達成できることが示唆された。 私たちのコードはhttps://github.com/kirito618/SIRI.comから入手可能です。

関連論文リスト

• SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
  本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
  論文  参考訳（メタデータ） (2026-05-27T03:21:19Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning [11.76119198695392]
  大規模な言語モデルエージェントは、複雑なタスクを解決するために、ますます外部スキルに依存している。 既存の手法では、外部スキルは永続的なガイダンスとして蓄積するか、ポリシーに内部化され、ゼロスキル推論につながると仮定している。 パラメトリック能力の制限とスキル間の不均一な限界貢献により、最適なアクティブスキルセットは非モノトニック、タスク、ステージ依存である。
  論文  参考訳（メタデータ） (2026-05-11T17:55:13Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• Reinforcement Learning for Self-Improving Agent with Skill Library [14.717149089634718]
  大規模言語モデル(LLM)に基づくエージェントは、複雑な推論とマルチターン相互作用において顕著な機能を示した。 有望なアプローチの1つは、エージェントが新しいスキルを学び、検証し、適用できるスキルライブラリを実装することである。 スキルライブラリによるエージェントの自己改善能力を高めるための強化学習(RL)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2025-12-18T21:58:19Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。