論文の概要: Mixture of Frames Policy: Multi-Frame Action Denoising for Bimanual Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2607.11884v1
• Date: Mon, 13 Jul 2026 17:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.583042
• Title: Mixture of Frames Policy: Multi-Frame Action Denoising for Bimanual Mobile Manipulation
• Title（参考訳）: フレームポリシの混合: 双方向モバイル操作のためのマルチフレームアクションデノベーション
• Abstract要約: 本稿では,複数の座標フレームにまたがる同期化動作を行う拡散ポリシーを提案する。 9つのシミュレートされたバイマニュアル操作タスクにおいて、最良のアクションフレームはタスク依存であることを示す。 さらに,2つの実世界の双方向モバイル操作タスクにおけるMoFの評価を行い,構成された単一フレームベースラインよりも優れた性能を示すことを示した。
• 参考スコア（独自算出の注目度）: 24.598022446230463
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Robotic manipulation is inherently multi-frame: local actions may be simple in an end-effector frame, while transport, upright-object handling, and whole-body coordination are better represented in a base-aligned frame. However, modern diffusion-based visuomotor policies typically commit to a single predefined action frame, forcing one denoiser to model action distributions that are often unnecessarily complex in that frame. We propose Mixture of Frames Policy (MoF), a diffusion policy that performs synchronized action denoising across multiple coordinate frames. MoF maintains a single canonical diffusion state, re-expresses it in several task-relevant frames, applies frame-specialized denoisers, and fuses their noise predictions back in the canonical frame. To make this possible for intermediate noisy diffusion states, we introduce a column-based 6D rotation representation within an SE(3) action parameterization that supports exact, differentiable frame transformations without requiring noisy rotations to lie on the SO(3) manifold. Across nine simulated bimanual manipulation tasks, we show that the best action frame is task-dependent and that MoF improves over oracle frame selection and standard Mixture-of-Experts (MoE) baselines. We further evaluate MoF on two real-world bimanual mobile manipulation tasks, demonstrating that it outperforms all constituent single-frame baselines. Project homepage: https://mofpo.github.io
• Abstract（参考訳）: ロボット操作は本質的にマルチフレームである: ローカルアクションはエンドエフェクタフレームでは単純だが、トランスポート、アップライトオブジェクトハンドリング、ボディ全体のコーディネーションはベースアラインフレームではより良く表現される。 しかし、現代の拡散に基づくビズモータポリシーは、通常、1つの事前定義されたアクション・フレームにコミットし、1つのデノイザーにそのフレームに必要以上に複雑であるアクション・ディストリビューションをモデル化せざるを得ない。 複数の座標フレームにまたがる同期化動作を行う拡散ポリシであるMixture of Frames Policy(MoF)を提案する。 MoFは単一の標準拡散状態を維持し、複数のタスク関連フレームで再表現し、フレーム特化デノイザを適用し、そのノイズ予測を標準フレームに戻す。 これを中間雑音拡散状態に適用するために,SE(3) の作用パラメータ化内でのカラムベースの6次元回転表現を導入し,SO(3) 多様体上のノイズ回転を必要とせず,正確な微分可能なフレーム変換をサポートする。 9つのシミュレートされた双方向操作タスクにおいて、最良のアクションフレームはタスク依存であり、MoFはオラクルフレームの選択や標準Mixture-of-Experts(MoE)ベースラインよりも改善されていることを示す。 さらに,2つの実世界の双方向モバイル操作タスクにおけるMoFの評価を行い,構成された単一フレームベースラインよりも優れた性能を示すことを示した。 プロジェクトホームページ:https://mofpo.github.io

関連論文リスト

• Beyond World-Frame Action Heads: Motion-Centric Action Frames for Vision-Language-Action Models [52.17964309142613]
  Vision-Language-Action(VLA)モデルは、強力なバックボーン、より広範な事前トレーニング、より大きなデモデータセットで急速に進歩している。 動作中心アクションフレーム(MCF)とプロトタイプベースのアクションパラメータ化を備えた軽量アクションヘッドである textbfMCF-Proto を提案する。 動作ヘッドに軽量な幾何学的・構成的構造を加えることで、VLAポリシーがロボット操作行動の組織化と一般化の方法を大幅に改善できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-12T09:03:39Z)
• DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
  textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。 我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。 NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2025-12-12T10:39:10Z)
• Beyond Boundary Frames: Audio-Visual Semantic Guidance for Context-Aware Video Interpolation [14.00347197658315]
  BBFは、音声/視覚のセマンティクスによってガイドされるコンテキスト対応のビデオフレームフレームワークである。 BBFは、汎用的タスクとオーディオ視覚同期タスクの両方において、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-03T09:22:13Z)
• Continuous Intermediate Token Learning with Implicit Motion Manifold for Keyframe Based Motion Interpolation [20.314332409748637]
  精度に基づく制約で潜在動作を定式化するための新しい枠組みを提案する。 提案手法は,地上の真理運動に優れたデータセットの精度と高い視覚的類似性を実証する。
  論文  参考訳（メタデータ） (2023-03-27T05:53:01Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• Background-Click Supervision for Temporal Action Localization [82.4203995101082]
  時間的行動ローカライゼーションの弱さは、ビデオレベルのラベルからインスタンスレベルのアクションパターンを学習することを目的としており、アクションコンテキストの混乱が大きな課題である。 最近の作業の1つは、アクションクリックの監視フレームワークを構築している。 同様のアノテーションのコストを必要とするが、従来の弱い教師付き手法と比較して、着実にローカライズ性能を向上させることができる。 本稿では,既存の手法の性能ボトルネックが背景誤差に起因していることを明らかにすることにより,より強力なアクションローカライザを,アクションフレームではなく,バックグラウンドビデオフレーム上のラベルでトレーニングできることを見出した。
  論文  参考訳（メタデータ） (2021-11-24T12:02:52Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• SF-Net: Single-Frame Supervision for Temporal Action Localization [60.202516362976645]
  単一フレームの監視は、低いアノテーションのオーバーヘッドを維持しながら、追加の時間的アクション信号を導入します。 本研究では,SF-Netと呼ばれる単一フレーム監視システムを提案する。 SF-Netは、セグメントローカライゼーションと単一フレームローカライゼーションの両方の観点から、最先端の弱い教師付き手法を大幅に改善する。
  論文  参考訳（メタデータ） (2020-03-15T15:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。