論文の概要: Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling

• arxiv url: http://arxiv.org/abs/2602.19764v1
• Date: Mon, 23 Feb 2026 12:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.644681
• Title: Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling
• Title（参考訳）: 深部多感波核融合とスパースエキスパートスケーリングによるデキサス・エボディード・マニピュレーションに向けて
• Abstract要約: DeMUSEは、RGB、深さ、および6軸の力を統一されたシリアライズストリームに統合するフレームワークである。 AdaMNは、モダリティを意識した特徴の再検討、表現の不均衡の緩和に使用される。 統合認知目的は、物理的整合性を確保するために、環境進化とアクションシーケンスを同期的に合成する。
• 参考スコア（独自算出の注目度）: 6.026400295270904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realizing dexterous embodied manipulation necessitates the deep integration of heterogeneous multimodal sensory inputs. However, current vision-centric paradigms often overlook the critical force and geometric feedback essential for complex tasks. This paper presents DeMUSE, a Deep Multimodal Unified Sparse Experts framework leveraging a Diffusion Transformer to integrate RGB, depth, and 6-axis force into a unified serialized stream. Adaptive Modality-specific Normalization (AdaMN) is employed to recalibrate modality-aware features, mitigating representation imbalance and harmonizing the heterogeneous distributions of multi-sensory signals. To facilitate efficient scaling, the architecture utilizes a Sparse Mixture-of-Experts (MoE) with shared experts, increasing model capacity for physical priors while maintaining the low inference latency required for real-time control. A Joint denoising objective synchronously synthesizes environmental evolution and action sequences to ensure physical consistency. Achieving success rates of 83.2% and 72.5% in simulation and real-world trials, DeMUSE demonstrates state-of-the-art performance, validating the necessity of deep multi-sensory integration for complex physical interactions.
• Abstract（参考訳）: 異種多モード感覚入力の深い統合が必要である。 しかし、現在のビジョン中心のパラダイムは、しばしば複雑なタスクに不可欠な臨界力と幾何学的フィードバックを見落としている。 本稿では,Diffusion Transformerを利用した深層マルチモーダル統一スパースエキスパートフレームワークDeMUSEについて述べる。 アダプティブ・モダリティ固有正規化(AdaMN)は、モダリティを意識した特徴を再分類し、表現の不均衡を緩和し、多感覚信号の不均一分布を調和させる。 効率的なスケーリングを容易にするため、アーキテクチャでは、共有専門家とSparse Mixture-of-Experts(MoE)を使用して、物理前のモデル容量を増やしながら、リアルタイム制御に必要な低推論レイテンシを維持できる。 統合認知目的は、物理的整合性を確保するために、環境進化とアクションシーケンスを同期的に合成する。 シミュレーションと実世界の試行において83.2%と72.5%の成功率を達成するために、DeMUSEは最先端のパフォーマンスを示し、複雑な物理的相互作用のための深層多感的な統合の必要性を検証する。

関連論文リスト

• SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection [19.446402308279676]
  本稿では,多モード融合を選択的協調プロセスとして再構成するSuppreSensingを提案する。 SupreSensingは、最初にExpert-driven Multimodal Feature Recalibration (EMFR)モジュールを設計した。 モーダリティ固有の拡張戦略を用いて、特定のモーダリティの特徴を属性とする。 DroneVehicleとVEDAIデータセットの実験は、SuppreSensingが最先端の検出パフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-08-21T10:06:00Z)
• Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
  重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。 マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。 SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2026-06-01T15:58:13Z)
• A Lightweight Transformer for Pain Recognition from Brain Activity [11.72500739025842]
  本稿では,複数のfNIRS表現を統一トークン化機構を通じて融合する軽量トランスフォーマーアーキテクチャを提案する。 提案したトークン混合戦略は、異種入力を共有潜在表現に投影することにより、空間的・時間的・時間的特性を保存する。 このモデルは、重畳された生波形とfNIRS入力のパワースペクトル密度表現を用いてAI4Painデータセット上で評価する。
  論文  参考訳（メタデータ） (2026-04-13T13:25:19Z)
• Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence [11.75125432258758]
  適応型マルチモーダルインテリジェンス(AMI:Adaptive Multimodal Intelligence)は、いつ、どのように推論するかを共同で学習するエンドツーエンドフレームワークである。 AMIは,(1)Gumbel-Sigmoid Gatingを用いてモデル信頼性とタスク関連性に基づいて動的にアクティブなセンサを選択できる軽量なエージェントモードコントローラ,(2)時間的に冗長なサンプルをスキップするための学習可能なしきい値を持つパッチワイズデルタシグマ演算を適用可能な学習Sigma-Delta Sensingモジュール,(3)非モーダルファウンデーションエンコーダと時間的コンテキストを持つクロスモーダルトランスフォーマーをベースとしたファンデーションベースのマルチモーダル予測モデル,の3つのコンポーネントを統合した。
  論文  参考訳（メタデータ） (2026-04-12T01:46:38Z)
• AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
  マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。 提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。 さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
  論文  参考訳（メタデータ） (2026-03-19T03:47:21Z)
• DeepONet-accelerated Bayesian inversion for moving boundary problems [0.0]
  この研究は、ニューラルネットワークの学習が、移動境界系の高速で正確なエミュレータを構築するための強力で柔軟なフレームワークを提供することを示した。 Deep Operator Network (DeepONet) アーキテクチャを用いて, 多孔質媒質中における単相ダーシー流における境界問題移動のための効率的なサロゲートモデルを構築した。 樹脂転写成形法(RTM)プロセスを用いて製造した複合材料に対する繊維補強材の透過性とポーシティを推定することにより, インバージョンフレームワークを実証した。
  論文  参考訳（メタデータ） (2025-12-23T11:22:26Z)
• MM-DETR: An Efficient Multimodal Detection Transformer with Mamba-Driven Dual-Granularity Fusion and Frequency-Aware Modality Adapters [12.063966356953186]
  マルチモーダルリモートセンシングオブジェクト検出は、困難条件下でより正確で堅牢な認識を実現することを目的としている。 注意に基づく、あるいは変形可能な畳み込み融合ブロックに依存する既存のアプローチは、依然としてパフォーマンスと軽量設計のバランスをとるのに苦労している。 マルチモーダルオブジェクト検出のための軽量かつ効率的なフレームワークMM-DETRを提案する。
  論文  参考訳（メタデータ） (2025-11-29T07:23:01Z)
• FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
  時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。 本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。 FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-26T08:36:33Z)
• Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
  CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。 私たちのアプローチの中心は、強化学習と因果推論を統合することです。 提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
  論文  参考訳（メタデータ） (2025-11-10T12:45:52Z)
• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
  入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。 近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。 機能適応型INR(FA-INR)を提案する。
  論文  参考訳（メタデータ） (2025-06-07T16:45:17Z)
• Adaptive Illumination-Invariant Synergistic Feature Integration in a Stratified Granular Framework for Visible-Infrared Re-Identification [18.221111822542024]
  Visible-Infrared Person Re-Identification (VI-ReID) は、捜索・救助、インフラ保護、夜間監視などの応用において重要な役割を担っている。 適応型モダリティインタラクションネットワークである textbfAMINet を提案する。 AMINetは、全体画像と上体画像の両方から包括的アイデンティティ属性をキャプチャするために、多粒度特徴抽出を利用する。
  論文  参考訳（メタデータ） (2025-02-28T15:42:58Z)
• MHSA: A Multi-scale Hypergraph Network for Mild Cognitive Impairment Detection via Synchronous and Attentive Fusion [4.526574526136158]
  同期核融合によるMCI検出のためのマルチスケールハイパーグラフネットワークを提案する。 本手法では、関心領域のスペクトル領域における位相同期関係を計算するために、位相同期値(PLV)を用いる。 PLV係数は動的に戦略を調整し,時間スペクトル融合行列に基づいて動的ハイパーグラフをモデル化する。
  論文  参考訳（メタデータ） (2024-12-11T02:59:57Z)
• Multi-Visual-Inertial System: Analysis, Calibration and Estimation [26.658649118048032]
  マルチビジュアル・慣性システム(MVIS)の状態を推定し,センサ融合アルゴリズムを開発した。 我々は、関連する視覚慣性センサーの完全な校正に興味を持っている。
  論文  参考訳（メタデータ） (2023-08-10T02:47:36Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。