論文の概要: Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos

• arxiv url: http://arxiv.org/abs/2607.00808v1
• Date: Wed, 01 Jul 2026 11:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.872694
• Title: Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos
• Title（参考訳）: ローカル・モーション・マター:ビデオによる強化学習のためのデコンストラクト・リコンストラクト・パラダイム
• Abstract要約: 既存の方法は通常、エージェントを不可分な実体として扱い、世界中の動きパターンをモデル化する。 本稿では,移動可能な局所運動表現を学習するためのデコンストラクト・コンストラクト・パラダイムを提案する。 本手法は, 多様なロボット制御・操作タスクに効果的に移行し, 試料効率と性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 30.202149567220356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training on large-scale videos to improve reinforcement learning efficiency is promising yet remains challenging. Existing methods typically treat the agent as an indivisible entity, modeling motion patterns globally. Such global modeling is tightly coupled with the morphology, hindering transfer across domains. In contrast, despite the vast disparity in global motions, the local components exhibit similar motion patterns across different agents. Building on this insight, we propose a novel Deconstruct-Recompose Paradigm (DRP) for learning transferable local motion representations. Specifically, in the Deconstruct phase, we identify multiple local points and track their frame-wise motions, defining each as an Atomic Action. We introduce a Dual-Attention Encoder (DAE) to learn local motion representations from these Atomic Actions, capturing their spatiotemporal relationships. In the Recompose phase, we compose local motion representations with a learnable Motion Aggregation Token [MAT] via latent dynamics model learning. Additionally, an adapter bridges local motion and downstream action-specific dynamics to accelerate policy learning. Extensive experiments demonstrate that our method effectively transfers to diverse robotic control and manipulation tasks, significantly improving sample efficiency and performance.
• Abstract（参考訳）: 強化学習効率を向上させるための大規模なビデオの事前訓練は、まだ難しい。 既存の方法は通常、エージェントを不可分な実体として扱い、世界中の動きパターンをモデル化する。 このような大域的モデリングは形態学と密接に結びついており、領域間の移動を妨げる。 対照的に、グローバルな動きの相違にもかかわらず、局所的なコンポーネントは異なるエージェントにまたがって同様の動きパターンを示す。 この知見に基づいて,移動可能な局所運動表現を学習するための新規なDeconstruct-Recompose Paradigm(DRP)を提案する。 具体的には、デコンストラクトフェーズにおいて、複数の局所点を特定し、それらのフレーム回りの動きを追跡し、それぞれをアトミックアクションとして定義する。 本稿では,これらの原子活動から局所的な運動表現を学習し,その時空間的関係を捉えるために,DAE(Dual-Attention Encoder)を導入する。 Recompose フェーズでは、学習可能なモーションアグリゲーショントークン(MAT)を潜在力学モデル学習を介してローカルなモーション表現を構成する。 さらに、アダプタは、ポリシー学習を加速するために、ローカルモーションとダウンストリームアクション固有のダイナミクスをブリッジする。 大規模な実験により,本手法は多種多様なロボット制御および操作タスクに効果的に移行し,試料効率と性能を著しく向上することが示された。

関連論文リスト

• Self-Supervised Learning of Structured Dynamics from Videos [76.23834498074805]
  予め訓練した画像ビジョン変換器の凍結した特徴から、構造化された動き表現を復元できるかどうかを検討する。 本研究では、時間変化の主源を残留力学から明確に分離する構造ダイナミクスモデル(SDM)を提案する。 ProbeMotionのSDMは、カメラモーション、オブジェクトモーション、複合ダイナミクスを備えた合成ビデオと実ビデオにまたがる新しい評価スイートである。
  論文  参考訳（メタデータ） (2026-07-23T17:55:07Z)
• CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning [47.195002937893115]
  CoMoは、多様なインターネットスケールのビデオから、より情報に富んだ連続的な動きの表現を学ぶことを目指している。 動作評価と学習指導のための2つの新しい指標を提案する。 CoMoは強力なゼロショットの一般化を示しており、以前は目に見えないビデオドメインに対して連続的な擬似アクションを生成することができる。
  論文  参考訳（メタデータ） (2025-05-22T17:58:27Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• Local Action-Guided Motion Diffusion Model for Text-to-Motion Generation [52.87672306545577]
  既存の動き生成法は主に大域運動の直接合成に焦点を当てている。 本研究では,局所動作を微粒化制御信号として利用することにより,グローバルな動き生成を容易にする局所動作誘導型動き拡散モデルを提案する。 本手法は,様々な局所動作と連続誘導重み調整をシームレスに組み合わせる柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-07-15T08:35:00Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• FLD: Fourier Latent Dynamics for Structured Motion Representation and Learning [19.491968038335944]
  本研究では,周期的・準周期的な動きの時空間関係を抽出する自己教師付き構造表現生成手法を提案する。 我々の研究は、一般的な動き表現と学習アルゴリズムの今後の進歩への新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-02-21T13:59:21Z)
• Global-local Motion Transformer for Unsupervised Skeleton-based Action Learning [23.051184131833292]
  骨格運動系列の教師なし学習のための新しいトランスフォーマーモデルを提案する。 提案モデルでは, 関節の局所力学を学習し, 動き列から大域的文脈を捉える。
  論文  参考訳（メタデータ） (2022-07-13T10:18:07Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Self-supervised Motion Learning from Static Images [36.85209332144106]
  Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。 下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
  論文  参考訳（メタデータ） (2021-04-01T03:55:50Z)
• Learning Self-Similarity in Space and Time as Generalized Motion for Action Recognition [42.175450800733785]
  ビデオ自己相似性(STSS)に基づくリッチな動き表現を提案する。 stssのボリューム全体を活用し、モデルに効果的なモーション表現を抽出させるようにしています。 SELFYと呼ばれる提案された神経ブロックは、追加の監督なしに簡単に神経アーキテクチャに挿入し、エンドツーエンドで訓練することができます。
  論文  参考訳（メタデータ） (2021-02-14T07:32:55Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。