論文の概要: Unified Multimodal Diffusion Forcing for Forceful Manipulation

• arxiv url: http://arxiv.org/abs/2511.04812v1
• Date: Thu, 06 Nov 2025 21:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.592298
• Title: Unified Multimodal Diffusion Forcing for Forceful Manipulation
• Title（参考訳）: 強制マニピュレーションのための統一多モード拡散強制
• Authors: Zixuan Huang, Huaidian Hou, Dmitry Berenson,
• Abstract要約: マルチモーダルロボット軌道から学習するための統合フレームワークであるマルチモーダル拡散強制法を提案する。 固定分布をモデル化する代わりに、MDFはランダムな部分マスクを適用し、軌道の再構成のために拡散モデルを訓練する。 我々は,実環境とシミュレーション環境の接触に富む,力強い操作作業におけるMDFの評価を行った。
• 参考スコア（独自算出の注目度）: 13.51688687815195
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Given a dataset of expert trajectories, standard imitation learning approaches typically learn a direct mapping from observations (e.g., RGB images) to actions. However, such methods often overlook the rich interplay between different modalities, i.e., sensory inputs, actions, and rewards, which is crucial for modeling robot behavior and understanding task outcomes. In this work, we propose Multimodal Diffusion Forcing, a unified framework for learning from multimodal robot trajectories that extends beyond action generation. Rather than modeling a fixed distribution, MDF applies random partial masking and trains a diffusion model to reconstruct the trajectory. This training objective encourages the model to learn temporal and cross-modal dependencies, such as predicting the effects of actions on force signals or inferring states from partial observations. We evaluate MDF on contact-rich, forceful manipulation tasks in simulated and real-world environments. Our results show that MDF not only delivers versatile functionalities, but also achieves strong performance, and robustness under noisy observations. More visualizations can be found on our website https://unified-df.github.io
• Abstract（参考訳）: 専門家の軌道のデータセットが与えられた場合、標準的な模倣学習アプローチは通常、観察(例えばRGB画像)からアクションへの直接マッピングを学ぶ。 しかしながら、そのような手法は、ロボットの振る舞いをモデル化し、タスクの成果を理解するのに不可欠である、感覚入力、行動、報酬といった、異なるモダリティ間のリッチな相互作用をしばしば見落としている。 本研究では,マルチモーダル・ディフュージョン・フォース(Multimodal Diffusion Forcing)を提案する。 固定分布をモデル化する代わりに、MDFはランダムな部分マスクを適用し、拡散モデルを訓練して軌道を再構築する。 このトレーニングの目的は、力信号に対する行動の影響の予測や、部分的な観測から状態の推測など、時間的および横断的な依存関係を学ぶことをモデルに促す。 我々は,実環境とシミュレーション環境の接触に富む,力強い操作作業におけるMDFの評価を行った。 以上の結果から,MDFは多彩な機能を提供するだけでなく,雑音下での強い性能,堅牢性も達成できることがわかった。 さらなる視覚化は、私たちのWebサイトhttps://unified-df.github.ioで確認できます。

関連論文リスト

• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• 4D-VLA: Spatiotemporal Vision-Language-Action Pretraining with Cross-Scene Calibration [31.111439909825627]
  既存の手法は通常、単純な観察を入力としてデータセットのアクション分布をモデル化する。 カオスの源泉への入力に、4D情報を効果的に統合する新しいアプローチである4D-VLAを提案する。 我々のモデルは既存の手法を常に上回り、より強い空間的理解と適応性を示す。
  論文  参考訳（メタデータ） (2025-06-27T14:09:29Z)
• MinD: Learning A Dual-System World Model for Real-Time Planning and Implicit Risk Analysis [32.08769443927576]
  我々は、リアルタイム・リスク対応計画のためのデュアルシステム・ワールドモデルであるManipulate in Dream (MinD)を提案する。 MinDは2つの非同期拡散プロセスを使用する: 将来のシーンを予測する低周波ビジュアルジェネレータ(LoDiff)とアクションを出力する高周波拡散ポリシー(HiDiff)である。 私たちの重要な洞察は、ロボットポリシーが完全に認知されたフレームを必要とせず、単一の認知ステップで生成された低解像度の潜伏剤に頼ることができるということです。 MinDがRL-Benchで63%の成功率、実世界のFrankaタスクで60%、11.3FPSで稼働
  論文  参考訳（メタデータ） (2025-06-23T17:59:06Z)
• Latent Diffusion Planning for Imitation Learning [78.56207566743154]
  Latent Diffusion Planning (LDP) は、プランナーと逆ダイナミクスモデルからなるモジュラーアプローチである。 行動予測からプランニングを分離することにより、LDPは最適なデータと行動自由データのより密集した監視信号の恩恵を受けることができる。 シミュレーションされた視覚ロボット操作タスクにおいて、LDPは最先端の模倣学習アプローチより優れている。
  論文  参考訳（メタデータ） (2025-04-23T17:53:34Z)
• Diffusion Imitation from Observation [4.205946699819021]
  敵対的模倣学習アプローチは、差別者と区別できない状態遷移を生成するために、ジェネレータポリシーを学ぶ。 生成モデルにおける拡散モデルの成功を動機として,観測フレームワークからの逆模倣学習に拡散モデルを統合することを提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:49:55Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• EnfoMax: Domain Entropy and Mutual Information Maximization for Domain Generalized Face Anti-spoofing [0.0]
  Face Anti-Spoofing (FAS) 法はドメイン内の設定でよく機能する。 ドメイン一般化(DG)法はFASにおいて注目されている。 本稿では,情報理論を用いてドメイン間FASタスクを解析するEnfoMaxフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-17T03:54:18Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
  モデルに基づく視覚的目標達成のための自己監視手法を提案する。 私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。 このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T23:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。