論文の概要: Video2Skill: From Streaming Experience to Reusable Embodied Skills

• arxiv url: http://arxiv.org/abs/2609.36691v1
• Date: Tue, 29 Sep 2026 04:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.185246
• Title: Video2Skill: From Streaming Experience to Reusable Embodied Skills
• Title（参考訳）: Video2Skill:ストリーミング体験から再利用可能なエンボディードスキルへ
• Abstract要約: エンボディードエージェントは、彼らが知っているスキルでしか計画できない。 VLM(Vision-Language Models)は、個々の操作イベントをうまく表現しているが、イベントストリームを再利用可能なスキルに編成できるだろうか? この問題をストリーム・エンボディード・スキル・ディスカバリ(SESD)として定式化し、動画を連続的に監視し、後続の意思決定を形作る永続的なスキル・ライブラリを維持する。
• 参考スコア（独自算出の注目度）: 28.38461203038884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Manipulation behaviors vary widely across objects and scenes, but they share a small set of reusable skills, and planning with these skills helps embodied agents generalize to new tasks. Yet an agent can only plan with skills it knows. Recovering skills from observed experience, the inverse of planning, builds this knowledge over time and yields skill data for training future agents. Vision-Language Models (VLMs) describe individual manipulation events well, but can they organize a stream of events into reusable skills? We formulate this problem as Streaming Embodied Skill Discovery (SESD): a model watches videos in sequence and maintains a persistent skill library that shapes its later decisions. To systematically measure this ability, we introduce Video2Skill, a benchmark that covers robot tabletop manipulation and human kitchen activity and tests three core capabilities: (i) locating manipulation events in time, (ii) grouping events of the same transformation, and (iii) deciding when to reuse an existing skill or create a new one. Across 19 open-source VLMs, many models group events at near-chance level, and scale does not consistently help. Their errors depend on how perception and library updates are coupled: joint models merge distinct transformations into one skill, while models that update the library from text descriptions duplicate recurring ones. Supervised fine-tuning, including our counterfactual library-state rebalancing (CLaRe), improves grouping but exposes a deeper bottleneck: trained models consolidate familiar skills yet rarely expand the library. Their libraries stall below half the reference size, and transformations unseen in training are located in time but almost never given a new skill. Recognizing when existing skills are insufficient thus emerges as the central challenge.
• Abstract（参考訳）: 操作動作は、オブジェクトやシーンによって様々であるが、いくつかの再利用可能なスキルを共有しており、これらのスキルで計画することは、エージェントが新しいタスクに一般化するのに役立ちます。 しかし、エージェントは自分が知っているスキルでしか計画できない。 観察された経験からスキルを回復する、計画の逆転は、この知識を時間とともに構築し、将来のエージェントを訓練するためのスキルデータを得る。 VLM(Vision-Language Models)は、個々の操作イベントをうまく記述するが、イベントのストリームを再利用可能なスキルに編成できるだろうか? Streaming Embodied Skill Discovery (SESD: Streaming Embodied Skill Discovery) は、動画を連続的に監視し、後続の意思決定を形作る永続的なスキルライブラリを維持するモデルである。 この能力を体系的に測定するために、ロボットテーブルトップ操作と人間のキッチンアクティビティをカバーするベンチマークであるVideo2Skillを紹介し、以下の3つのコア機能をテストする。 i) 時間内に操作イベントを配置すること。 (ii)同じ変換のイベントをまとめて、 三 既存の技をいつ再利用するか、又は新しい技を創り出すかを決めること。 19のオープンソースVLMにまたがって、多くのモデルが近チャンスレベルでイベントをグループ化し、スケールは一貫して役に立たない。 共同モデルは異なる変換を1つのスキルにマージし、一方、テキスト記述からライブラリを更新するモデルは重複する。 対物ライブラリ・ステート・リバランシング(CLaRe)を含む監視された微調整は、グループ化を改善するが、より深いボトルネックを露呈する:訓練されたモデルは、慣れ親しんだスキルを集約するが、ライブラリを拡張することはめったにない。 ライブラリは参照サイズの半分以下に留まり、トレーニングで見えない変換は時間内に行われるが、新しいスキルは決して与えられない。 既存のスキルが不十分な場合の認識が中心的な課題として現れます。

関連論文リスト

• PRACTICE: From Experience to Expertise in Self-Evolving Embodied Agents [8.367852606377419]
  我々は,過去のインタラクションの軌跡から永続的なスキルライブラリを発見し,維持するために,スキル学習者を訓練する。 そこで,本研究では,オンライン・スキル・エグゼクティブ・蒸留を用いて,学習者と教師の連携を図る。 実験では、コンパクトなスキル学習者が、連続したライブラリ更新ラウンドで一貫したパフォーマンス向上を提供することを示した。
  論文  参考訳（メタデータ） (2026-08-31T13:26:16Z)
• SkillCommit: Evolving Agent Skills through Behaviorally Validated Scope Expansion [15.498568310060229]
  我々は、経験を再利用可能なスキルの階層的なライブラリに変換するオンラインスキル進化フレームワークであるSkillCommitを提案する。 関連スキルが蓄積されるにつれて、SkillCommitは共通の行動メカニズムを共有するスキルをハイレベルなスキルに抽象化する。 RuleArena、OpenExempt、KOR-Benchの実験では、SkillCommitはさまざまなドメインにわたるエージェントパフォーマンスを一貫して改善している。
  論文  参考訳（メタデータ） (2026-08-15T11:03:07Z)
• Generative Skill Composition for LLM Agents [58.47191648555256]
  LLMエージェントは複雑なタスクを解決するためのスキルの恩恵を受ける。 スキルライブラリが成長するにつれて、適切なスキル構成を選択することが中心的なボトルネックとして現れている。 本稿では,タスク条件付きスキルシーケンス予測として構造化されたスキルコンポジションをインスタンス化するSkillComposerを提案する。
  論文  参考訳（メタデータ） (2026-06-30T17:53:09Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills [31.23929961213889]
  大規模言語モデル(LLM)エージェントは、現実世界のタスクを解きながら豊富なエピソード軌道を蓄積する。 SkillEvolBenchは、経験の再利用からスキル形成まで、このステップを評価するための診断ベンチマークである。 現在のエージェントは、しばしばローカルに適応するが、堅牢な再利用可能なスキルを形成することは滅多にない。
  論文  参考訳（メタデータ） (2026-05-22T18:23:31Z)
• SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
  有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。 SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。 実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-05-12T12:21:49Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• Skill-Aware Diffusion for Generalizable Robotic Manipulation [10.771128286526634]
  本稿では,スキルレベルの情報を明示的に組み込んだSADiff(Skill-Aware Diffusion)を提案する。 SADiffは、学習可能なスキルトークンを備えたスキル認識エンコーディングモジュールを通じて、スキル固有の表現を学ぶ。 シミュレーションと実世界の設定実験により、SADiffは様々な操作タスクで優れたパフォーマンスと一般化を実現していることが示された。
  論文  参考訳（メタデータ） (2026-01-16T13:14:40Z)
• Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
  我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
  論文  参考訳（メタデータ） (2022-11-23T23:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。