論文の概要: ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills

• arxiv url: http://arxiv.org/abs/2610.12403v1
• Date: Thu, 08 Oct 2026 17:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.235073
• Title: ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills
• Title（参考訳）: ViSkill: VLMエージェントを進化させるビジュアルネイティブスキル
• Abstract要約: ViSkillはビジュアルネイティブなスキル学習フレームワークである。 複合的なビジュアルスキルカードとして成功したインタラクションをエンコードする。 スキルの蓄積とポリシーの改善が相互に強化される、クローズドなフィードバックループを形成します。
• 参考スコア（独自算出の注目度）: 57.21774555743747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skill-augmented agents improve sample efficiency by distilling successful trajectories into reusable strategies. Yet most existing approaches remain text-centric, linearizing spatial layouts and action-state correspondences into language that loses critical geometric structure. Recent efforts have begun incorporating visual evidence, but construct and update skills separately from policy optimization, leaving their mutual improvement underexplored. We propose ViSkill, a visual-native skill learning framework that encodes successful interactions as composite visual skill cards directly accessible to VLM agents. Retrieved skills guide both inference and reward shaping, while successful trajectories are distilled back into the library, forming a closed feedback loop in which skill accumulation and policy improvement reinforce each other. An optional cold-start mechanism further accelerates early-stage learning. Evaluated on Sokoban, FrozenLake, and PrimitiveSkill, ViSkill achieves an overall success rate of 0.89, rising to 0.91 with cold-start initialization, outperforming all evaluated proprietary and open-source baselines while converging faster than standard PPO. Our code is available at https://github.com/ZJU-REAL/ViSkill.
• Abstract（参考訳）: スキル増強剤は、成功した軌道を再利用可能な戦略に蒸留することで、サンプル効率を向上させる。 しかし、既存のアプローチのほとんどはテキスト中心であり、空間配置や行動状態対応を線形化し、決定的な幾何学的構造を失う言語に含めている。 近年の努力は、視覚的証拠を取り入れつつも、政策最適化とは別個のスキルの構築と更新を行っており、両者の相互改善は過小評価されている。 本稿では,VLMエージェントに直接アクセス可能な複合ビジュアルスキルカードとして,対話の成功をエンコードするビジュアルネイティブなスキル学習フレームワークであるViSkillを提案する。 得られたスキルは推論と報酬形成の両方を導くが、成功した軌道は図書館に蒸留され、スキル蓄積と政策改善が相互に強化される閉じたフィードバックループを形成する。 オプションのコールドスタート機構は、早期学習をさらに加速させる。 Sokoban、FrozenLake、PrimitiveSkillで評価され、ViSkillは0.89で、コールドスタートの初期化によって0.91に上昇し、すべての評価済みプロプライエタリおよびオープンソースベースラインを上回り、標準のPPOよりも高速に収束する。 私たちのコードはhttps://github.com/ZJU-REAL/ViSkill.comから入手可能です。

関連論文リスト

• SkillVine: Agent Skill Evolution via Branching Exploration [12.13535224292116]
  エージェントスキルは、環境とのインタラクションからトラジェクトリを使用して、自動的に改善できる。 既存のアプローチは、最新のスキルライブラリバージョンに順次適用される線形進化パラダイムを優先的に採用している。 本稿では,グラフ検索問題としてスキル進化を定式化する自動スキル進化フレームワークであるSkillVineを提案する。
  論文  参考訳（メタデータ） (2026-09-26T15:49:39Z)
• CoSkill: Joint Reinforcement Learning of Reasoning and Meta-Skill Agents for Hierarchical Skill Evolution [12.48020149385294]
  CoSkillは、静的メタスキルワークフローを学習可能なメタスキルエージェントとして再キャストする統合マルチエージェントRLフレームワークである。 ReasoningとMeta-Skill Agentsを単一のバックボーンを共有する協力チームとしてモデル化することで、CoSkillはエンドツーエンドのコ適応を可能にする。
  論文  参考訳（メタデータ） (2026-09-04T08:25:30Z)
• Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
  専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。 本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
  論文  参考訳（メタデータ） (2026-08-18T09:52:48Z)
• Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents [67.97365535829098]
  経験から学ぶことは、有能で自己改善型の大規模言語モデル(LLM)エージェントの開発に不可欠である。 Evo-Harnessは、ノイズの多いシングルショット実行を、クロスドメインとトピックレベルの適応のための再利用可能なスキルハーネスに蒸留する。 本分析は,エボ・ハーネスの有効性を実証し,LLMエージェントがリアルタイムで効果的に学習する方法の原理的理解を提供する。
  論文  参考訳（メタデータ） (2026-08-15T06:43:56Z)
• SPyCE: Skill-Policy Co-evolution for Multimodal Agents [12.105041985483167]
  階層型スキルライブラリにトラジェクトリを蒸留し,強化学習を通じて更新するフレームワークであるSPyCEを提案する。 トレーニング中、ポリシーモデルはそのロールアウトをガイドするために回収されたスキルに条件を課し、スキルライブラリはポリシーによって生成された貴重なロールアウトを使用して進化する。 8つのベンチマークの実験では、SPyCEはRLベースとメモリベースの両方のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-15T14:01:48Z)
• SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
  有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。 SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。 実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-05-12T12:21:49Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
  生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。 本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。 ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-09T03:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。