論文の概要: VT-MUSE: Multimodal Unified Sequential Visuotactile Representation Learning for Manipulation

• arxiv url: http://arxiv.org/abs/2608.21290v1
• Date: Fri, 21 Aug 2026 16:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.641429
• Title: VT-MUSE: Multimodal Unified Sequential Visuotactile Representation Learning for Manipulation
• Title（参考訳）: VT-MUSE: マニピュレーションのためのマルチモーダル統一型ビゾタクタクタブル表現学習
• Abstract要約: VT-MUSE は Visuotactilemanipulation のための表現学習フレームワークである。 2段階の表現学習フレームワークを通じて、両方の制限に対処する。 シミュレーションベンチマークでは、VT-MUSEは全タスクで評価された最強のベースラインを11ポイント上回っている。
• 参考スコア（独自算出の注目度）: 36.618694244481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose VT-MUSE, a Multimodal Unified SEquential representation learning framework for visuotactilemanipulation. Existing approaches often encode visual and tactile observations independently before fusion, limiting their ability to capture fine-grained cross-modal dependencies. Moreover, most methods focus on observations at the current time step and overlook the temporal evolution of contact. VT-MUSE addresses both limitations through a two-stage representation learning framework. In Stage I, modality specific encoders are jointly adapted via cross-modal temporal alignment and masked-view consistency. In Stage II, a conditional variational latent model processes masked visual sequences together with full tactile histories. Auxiliary decoders reconstruct the masked recent visual observations and predict tactile depth changes, encouraging the latent representation to retain both global visual context and local contact dynamics. The learned representation is subsequently integrated into a lightweight Transformer policy through gated cross-attention. On the simulation benchmark, VT-MUSE outperforms the strongest baseline evaluated on all tasks by 11 percentage points and also achieves substantial improvements in real-world experiments.
• Abstract（参考訳）: 本稿では,ビジュオタクティルマニピュレーションのためのマルチモーダル統一シーケンス表現学習フレームワークであるVT-MUSEを提案する。 既存のアプローチはしばしば、融合前に視覚的および触覚的な観察を独立に符号化し、粒度の細かい相互依存を捕捉する能力を制限する。 さらに、ほとんどの手法は現在の段階での観測に焦点を合わせ、接触の時間的進化を見落としている。 VT-MUSEは2段階の表現学習フレームワークを通じて両方の制限に対処する。 ステージIでは、モダリティ特異的エンコーダは、モーダル時間的アライメントとマスクビューの一貫性によって、共同で適応される。 ステージIIでは、条件付き変分潜在モデルは、完全な触覚履歴とともに、マスクされた視覚的シーケンスを処理します。 補助デコーダは、マスクされた最近の視覚観察を再構築し、触覚の深さ変化を予測し、グローバルな視覚コンテキストと局所的な接触ダイナミクスの両方を維持するために潜伏表現を奨励する。 学習された表現はその後、ゲートクロスアテンションを通じて軽量なTransformerポリシーに統合される。 シミュレーションベンチマークでは、VT-MUSEは全タスクで評価された最強のベースラインを11ポイント上回り、実世界の実験で大幅に改善した。

関連論文リスト

• Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models [58.9387276447485]
  視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。 一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-18T10:04:22Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Modeling Cross-vision Synergy for Unified Large Vision Model [130.37489011094036]
  PolyVは、アーキテクチャレベルとトレーニングレベルの両方で、クロスビジョンのシナジーを実現する統一された大型ビジョンモデルである。 PolyVは既存のモデルを一貫して上回り、バックボーンの10%以上の平均的な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-03T22:44:43Z)
• Knowledge Transfer from Interaction Learning [16.83991179271622]
  現在の視覚基礎モデル(VFM)は、視覚言語モデル(VLM)から知識を伝達する際の基本的な制限に直面している。 視覚的理解をインタラクティブなプロセスとして明示的にモデル化する,認知に触発されたフレームワークであるLearning from Interactions (LFI)を提案する。
  論文  参考訳（メタデータ） (2025-09-23T07:27:36Z)
• Multimodal Visual Transformer for Sim2real Transfer in Visual Reinforcement Learning [2.1944315483245465]
  視覚変換器をベースとした視覚バックボーンを提案し,RGBと奥行き変調を融合させて一般化を促進させる。 異なるモダリティはまず別々のCNNステムで処理され、組み合わせた畳み込み機能はスケーラブルな視覚変換器に配信される。 sim2real転送では、トレーニングプロセスよりもドメインランダム化をデプロイする柔軟なカリキュラム学習スケジュールが開発されている。
  論文  参考訳（メタデータ） (2025-07-12T07:58:02Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers [7.505873965164197]
  ViTaPEsは,視覚的知覚のためのタスク非依存表現を学習するためのフレームワークである。 提案手法は,モーダル内構造を捉えるために,新しいマルチスケール位置符号化方式を利用する。 その結果,ViTaPEは様々な認識タスクにおいて最先端のベースラインを超越していることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T14:19:29Z)
• UniViTAR: Unified Vision Transformer with Native Resolution [37.63387029787732]
  UniViTARは、視覚の統一性とネイティブ解像度のシナリオに適した、均質な視覚基盤モデルのファミリーである。 2つのコアメカニズムを戦略的に組み合わせたプログレッシブトレーニングパラダイムが導入された。 並行して、ハイブリッドトレーニングフレームワークは、凍結教師モデルからの特徴蒸留に伴うシグモイドに基づくコントラスト損失をさらにシナジする。
  論文  参考訳（メタデータ） (2025-04-02T14:59:39Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [88.85002707211777]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークはVFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出する。 このアライメントは、クロスモーダルな表現学習を促進し、2Dデータと3Dデータのセマンティック一貫性を高める。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• MOOSS: Mask-Enhanced Temporal Contrastive Learning for Smooth State Evolution in Visual Reinforcement Learning [8.61492882526007]
  視覚的強化学習(RL)では、ピクセルベースの観察から学ぶことは、サンプル効率に大きな課題をもたらす。 グラフベースの時空間マスキングの助けを借りて時間的コントラストの目的を生かした新しいフレームワークMOOSSを紹介する。 複数の連続的および離散的な制御ベンチマークにおいて、MOOSSはサンプル効率の観点から従来の最先端の視覚的RL法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-09-02T18:57:53Z)
• Cross-modal Orthogonal High-rank Augmentation for RGB-Event Transformer-trackers [58.802352477207094]
  本研究では,2つのモード間の分布ギャップを埋めるために,事前学習された視覚変換器(ViT)の潜在可能性を探る。 本研究では,いくつかのトークンの特定のモダリティをランダムにマスキングし,異なるモダリティのトークン間の相互作用を積極的に行うマスクモデリング戦略を提案する。 実験により,我々のプラグアンドプレイトレーニング強化技術は,追跡精度と成功率の両方の観点から,最先端のワンストリームと2つのトラッカーストリームを大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-07-09T08:58:47Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。