論文の概要: Register-Routed Delayed Fusion: Rewiring Shortcut-Prone Observation Fusion in Visuomotor Imitation
- arxiv url: http://arxiv.org/abs/2610.02813v1
- Date: Fri, 02 Oct 2026 05:02:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 09:54:32.232889
- Title: Register-Routed Delayed Fusion: Rewiring Shortcut-Prone Observation Fusion in Visuomotor Imitation
- Title(参考訳): レジストロート遅延核融合:Visuomotorimitationにおけるショートカット・プローン観察核融合の再検討
- Abstract要約: 密接なトークン融合では、視覚トークンは第1エンコーダ層からのコンパクトトークンに直接出席することができる。
本稿では、直接的コンパクトな視覚的注意を隠蔽し、モーダル間相互作用を段階的に行うレジスター・ルート・デレイド・フュージョンを紹介する。
- 参考スコア(独自算出の注目度): 12.44174979330866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visuomotor imitation policies combine high-dimensional visual observations with compact signals such as proprioception, and their fusion topology determines when and through which tokens these streams interact. In dense token fusion, visual tokens may attend directly to compact tokens from the first encoder layer, allowing action-predictive compact cues to influence spatial visual representations early in their formation. We ask whether controlling this route improves visual responsiveness and policy behavior. We introduce Register-Routed Delayed Fusion (RRDF), which masks direct compact-visual attention and stages cross-modal interaction through a learned register workspace. Its isolate-collect-route schedule protects an early stream-separated prefix and later permits only register-mediated exchange, while compact conditioning remains available to the native action generator. Across five simulation tasks and three real-robot tasks, RRDF matches or improves dense ACT under nominal conditions. Appearance-shift evaluations on four simulation tasks and held-out-position evaluations on three real-robot tasks also favor RRDF. Phase-matched input probes show lower measured state-to-image sensitivity, while ablations indicate that adding registers alone does not reproduce the full performance gain. These results support controlling cross-modal propagation while retaining compact action conditioning.
- Abstract(参考訳): Visuomotor の模倣ポリシーは、高次元の視覚観察とプロトリオセプションのようなコンパクトな信号を組み合わせることで、それらの融合トポロジーは、これらのストリームがいつ、どこから相互作用するかを決定する。
密接なトークン融合では、視覚トークンは第1エンコーダ層からのコンパクトトークンに直接参加し、アクション予測コンパクトなキューがその形成の早い段階で空間的な視覚表現に影響を与える。
この経路の制御が視覚応答性と政策行動を改善するかどうかを問う。
本稿では,学習したレジスタワークスペースを介して,直接のコンパクトな視覚的注意を隠蔽し,モーダル間相互作用を段階的に行うRRDF(Restor-Routed Delayed Fusion)を提案する。
分離されたコレクトルートスケジュールは、初期ストリーム分離プレフィックスを保護し、後にレジスタ経由の交換のみを許可するが、コンパクトな条件付けはネイティブアクションジェネレータで引き続き利用可能である。
5つのシミュレーションタスクと3つの実ロボットタスクにまたがって、RRDFは名目上の条件下で密度の高いACTをマッチまたは改善する。
4つのシミュレーションタスクの出現シフト評価と3つの実ロボットタスクの保留位置評価もRRDFを好んでいる。
位相整合型入力プローブは、測定値から画像への感度が低く、アブレーションはレジスタのみの追加が完全なパフォーマンス向上を再現しないことを示している。
これらの結果は、コンパクトな動作条件を維持しながら、クロスモーダル伝搬を制御することを支援する。
関連論文リスト
- Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration [64.37992619361556]
イメージ・ツー・ポイント・クラウド登録のための検出不要な方法は、誤った対応をしがちである。
類似性に基づくRLマスキング戦略(SRLM)を用いたID-MAE(Intermodal Dual-MAE)を提案する。
提案手法は,特徴抽出時の表現一貫性を強制することにより,モーダル表現学習を強化する。
論文 参考訳(メタデータ) (2026-09-16T03:47:07Z) - RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection [11.920316291237382]
既存のRGB-IR融合法は、より軽量だがより制約のある適応機構に対して、表現力のあるパッチレベルの相互作用を交換することが多い。
本稿では,3段階のレジスタライフサイクルとして構成されたレジスタ経由の融合フレームワークである RegisterBridgeMM を提案する。
このレジスタパスは、事前訓練されたパッチ表現を保持しながら、密集したパッチ対パッチ間の相互作用を避ける。
論文 参考訳(メタデータ) (2026-08-05T13:34:13Z) - ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。
ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
論文 参考訳(メタデータ) (2026-06-30T17:20:29Z) - Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions [4.361526134899725]
ロバスト・オペレーティング・シーン(FAROS)のフロー誘導時間
ゼロショットセグメンテーションに基づくマスク伝搬と光学的フロー推定を組み合わせたフロー誘導ラベルフレームワークは,手術条件下での外観ベースの伝搬の限界を克服する。
統合されたトランスフォーマーベースのマルチタスクフレームワークは、手術相認識、ステップ認識、予測、楽器セグメンテーション、アクション認識を共同で学習する。
論文 参考訳(メタデータ) (2026-06-25T05:55:26Z) - EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026 [69.56534058291463]
EgoActionは、統合された分離された検出と融合パイプラインである。
パイプラインはEPICに精細化されたVideoMAE-L機能を使用し、因果時間モデルを用いて名詞と動詞の時間的検出器を分離する。
EgoActionは、エゴセントリックな時間的行動検出のためのコンパクトで再現可能なシステムを提供する。
論文 参考訳(メタデータ) (2026-05-23T10:05:56Z) - Morphing Through Time: Diffusion-Based Bridging of Temporal Gaps for Robust Alignment in Change Detection [51.56484100374058]
既存の変更検出ネットワークを変更することなく空間的・時間的ロバスト性を改善するモジュールパイプラインを導入する。
拡散モジュールは、大きな外観ギャップをブリッジする中間変形フレームを合成し、RoMaは段階的に対応を推定できる。
LEVIR-CD、WHU-CD、DSIFN-CDの実験は、登録精度と下流変化検出の両方において一貫した利得を示した。
論文 参考訳(メタデータ) (2025-11-11T08:40:28Z) - Masked Temporal Interpolation Diffusion for Procedure Planning in Instructional Videos [32.71627274876863]
本稿では,授業ビデオにおけるプロシージャ計画の課題に対処し,開始と終了の視覚的観察から協調的かつタスクに沿ったアクションシーケンスを生成することを目的とする。
これまでの研究は主に、観察された状態と観察されていない行動の間のギャップを埋めるためにテキストレベルの監督に依存してきたが、行動間の複雑な時間的関係を捉えるのに苦労した。
本研究では,拡散モデル内に潜時空間時間モジュールを導入した仮設仮設時間補間拡散モデルを提案する。
論文 参考訳(メタデータ) (2025-07-04T08:54:59Z) - Bench2Drive-R: Turning Real World Data into Reactive Closed-Loop Autonomous Driving Benchmark by Generative Model [63.336123527432136]
我々は,リアクティブ閉ループ評価を可能にする生成フレームワークであるBench2Drive-Rを紹介する。
既存の自動運転用ビデオ生成モデルとは異なり、提案された設計はインタラクティブなシミュレーションに適したものである。
我々は、Bench2Drive-Rの生成品質を既存の生成モデルと比較し、最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-12-11T06:35:18Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳(メタデータ) (2023-08-20T18:23:07Z) - Cross-Modal Learning with 3D Deformable Attention for Action Recognition [4.128256616073278]
本稿では,適応的な注意場を持つ行動認識のための新しい3次元変形可能な変換器と時間的学習方式を提案する。
提案した3次元変形可能な変圧器が試験された。
60,.120 FineGYM と PennActionAction のデータセットは、事前訓練された最先端手法よりも良い結果を示した。
論文 参考訳(メタデータ) (2022-12-12T00:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。