論文の概要: Asynchronous Multimodal Diffusion Policy Composition via Latency-Aware Guidance Fusion
- arxiv url: http://arxiv.org/abs/2607.17257v1
- Date: Sun, 19 Jul 2026 13:48:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.41257
- Title: Asynchronous Multimodal Diffusion Policy Composition via Latency-Aware Guidance Fusion
- Title(参考訳): Latency-Aware Guidance Fusionによる非同期多モード拡散政策構成
- Abstract要約: 非同期多モード拡散ポリシー合成のための遅延対応誘導融合フレームワークであるRAG-Fusionを提案する。
我々は、低周波ビジョンポリシーと高周波力ポリシーを構成することにより、コンタクトリッチな操作におけるRAG-Fusionをインスタンス化する。
- 参考スコア(独自算出の注目度): 52.50952605013304
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion policies have shown strong potential for robotic imitation learning, and recent extensions incorporate additional modalities to improve manipulation performance. However, these modalities often differ not only in information content but also in sensing rates and inference latencies. Existing multimodal diffusion policies typically rely on synchronous fusion or manually designed multi-frequency architectures, which either slow down high-frequency feedback or limit extensibility to new modality combinations. We propose LAG-Fusion, a latency-aware guidance fusion framework for asynchronous multimodal diffusion policy composition. LAG-Fusion allows modality-specific policies to operate at their native inference rates and contribute denoising guidance whenever available. To make asynchronous composition consistent, we derive a reference-frame rebasing rule for diffusion variables under relative action representations, enabling delayed guidance to be aligned before fusion. We instantiate LAG-Fusion in contact-rich manipulation by composing a low-frequency vision policy with a high-frequency force policy. Experiments under heterogeneous modality latencies show that LAG-Fusion improves policy responsiveness and task performance over synchronous fusion and specially designed force-aware baselines.
- Abstract(参考訳): 拡散政策はロボット模倣学習の可能性を強く示しており、最近の拡張では操作性能を改善するために追加のモダリティが組み込まれている。
しかし、これらのモダリティは情報の内容だけでなく、知覚率や推論の待ち時間にもしばしば異なる。
既存のマルチモーダル拡散ポリシーは、通常、同期融合または手動設計のマルチ周波数アーキテクチャに依存しており、これは高周波フィードバックを遅くするか、新しいモダリティの組み合わせに拡張性を制限する。
非同期多モード拡散ポリシー合成のための遅延対応誘導融合フレームワークであるRAG-Fusionを提案する。
LAG-Fusionは、モダリティ固有のポリシーをネイティブな推論レートで運用し、利用可能なときにデノナイジングガイダンスに貢献することを可能にする。
非同期合成を一貫性のあるものにするため、相対的な動作表現の下で拡散変数に対する参照フレームのリベースルールを導出し、融合前に遅延ガイダンスをアライメントできるようにする。
我々は、低周波ビジョンポリシーと高周波力ポリシーを構成することにより、コンタクトリッチな操作におけるRAG-Fusionをインスタンス化する。
不均一なモードラテンシー下での実験では、RAG-Fusionは同期融合および特殊設計された力覚ベースラインよりもポリシー応答性とタスク性能を向上させる。
関連論文リスト
- A Hierarchical Approach to Imitation Learning for Manipulation Tasks Requiring Time Varying Forces [14.372073538832803]
高速軌道生成(DPA-FTG)による拡散政策の導入
位置補正に焦点を当てた最近の視覚触覚アプローチと比較して、DPA-FTGは高周波力規制から低周波計画を切り離す。
本研究は,適合シートの分離を含む両面電池解体作業に対するアプローチを検証する。
論文 参考訳(メタデータ) (2026-08-04T04:21:00Z) - Boosting Multimodal Federated Learning via Chained Modality Optimization [69.53075328069504]
MMFL(Multimodal Federated Learning)は、異種データとモダリティ可用性を備えた分散クライアント間での、プライバシ保護による協調学習を実現する。
これを解決するために,FedMChainを提案する。FedMChainは,多モード学習をモダリティの連鎖として構成する,バランスのとれたMMFLフレームワークである。
このフェーズワイズ設計により、各モダリティは、モダリティ競合を軽減するために、マルチモーダルクライアントに専用の局所最適化ウィンドウを与え、さらにエラー補償正規化器を介して、モダリティ間の相補性を促進する。
論文 参考訳(メタデータ) (2026-06-01T08:07:09Z) - From Noise to Control: Parameterized Diffusion Policies [54.941343992110426]
本研究では,学習行動多様体に埋め込まれた連続パラメータに条件付き拡散ポリシーを学習するためのフレームワークを提案する。
政策重みを更新することなく、既知の戦略間の円滑な距離と、新しい制約への効率的な適応を可能にする。
論文 参考訳(メタデータ) (2026-05-29T20:21:50Z) - From Flow to One Step: Real-Time Multi-Modal Trajectory Policies via Implicit Maximum Likelihood Estimation-based Distribution Distillation [18.70033095161235]
Indicit Likelihood Estimation (IMLE) を用いて条件付きフローマッチングの専門家を高速な単一ステップの学生に蒸留する枠組みを提案する。
双方向のチャンファー距離は、モードカバレッジと忠実度の両方を促進する設定レベルの目的を提供する。
統合認識エンコーダは、さらに多視点RGB、深度、点雲、プロプレセプションを幾何学的認識表現に統合する。
論文 参考訳(メタデータ) (2026-03-10T09:30:05Z) - SG-RIFE: Semantic-Guided Real-Time Intermediate Flow Estimation with Diffusion-Competitive Perceptual Quality [0.0]
リアルタイムビデオフレーム補間(VFI)は、長い間、RIFEのようなフローベースの手法によって支配されてきた。
最近の拡散ベースのアプローチは、最先端の知覚品質を実現するが、禁止的なレイテンシに悩まされ、リアルタイムアプリケーションでは現実的ではない。
本稿では,凍結したDINOv3 Vision Transformerのセマンティックガイド型RIFE(SG-RIFE)について述べる。
論文 参考訳(メタデータ) (2025-12-20T06:50:55Z) - ImplicitRDP: An End-to-End Visual-Force Diffusion Policy with Structural Slow-Fast Learning [52.86018040861575]
本稿では,単一のネットワークに視覚計画と反応力制御を統合した,一貫したエンドツーエンドの視覚力拡散政策を提案する。
本稿では,非同期な視覚と力のトークンを同時に処理するための因果的注意力を利用した構造的スローフォールストラーニングを紹介する。
コンタクトリッチタスクの実験では、ImplicitRDPは視覚のみのベースラインと階層的なベースラインの両方で著しく優れていた。
論文 参考訳(メタデータ) (2025-12-11T18:59:46Z) - UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。
コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。
8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2025-12-08T05:36:14Z) - Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳(メタデータ) (2025-12-08T05:04:54Z) - IRDFusion: Iterative Relation-Map Difference guided Feature Fusion for Multispectral Object Detection [23.256601188227865]
クロスモーダルな特徴のコントラストとスクリーニング戦略に基づく,革新的な機能融合フレームワークを提案する。
提案手法は,オブジェクト認識の相補的クロスモーダル特徴を融合させることにより,有能な構造を適応的に強化する。
IRDFusionは、様々な挑戦的なシナリオで既存のメソッドを一貫して上回ります。
論文 参考訳(メタデータ) (2025-09-11T01:22:35Z) - FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。
Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。
マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文 参考訳(メタデータ) (2025-07-07T04:09:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。