論文の概要: Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2602.13689v1
- Date: Sat, 14 Feb 2026 09:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.342283
- Title: Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation
- Title（参考訳）: ロボットマニピュレーションのための左右力前処理による視覚と触覚の対称性を考慮した融合
- Abstract要約: 本稿では,バイスオ触覚融合のためのクロスモーダルトランス (CMT) を提案する。
CMTは、構造化された自己および横断的注意を通して触覚信号と手首カメラ観測を統合する。
TacSLベンチマークの実験では、対称性の正則化を持つCMTが96.59%の挿入成功率を達成した。
- 参考スコア（独自算出の注目度）: 7.104060092661104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Insertion tasks in robotic manipulation demand precise, contact-rich interactions that vision alone cannot resolve. While tactile feedback is intuitively valuable, existing studies have shown that naïve visuo-tactile fusion often fails to deliver consistent improvements. In this work, we propose a Cross-Modal Transformer (CMT) for visuo-tactile fusion that integrates wrist-camera observations with tactile signals through structured self- and cross-attention. To stabilize tactile embeddings, we further introduce a physics-informed regularization that encourages bilateral force balance, reflecting principles of human motor control. Experiments on the TacSL benchmark show that CMT with symmetry regularization achieves a 96.59% insertion success rate, surpassing naïve and gated fusion baselines and closely matching the privileged "wrist + contact force" configuration (96.09%). These results highlight two central insights: (i) tactile sensing is indispensable for precise alignment, and (ii) principled multimodal fusion, further strengthened by physics-informed regularization, unlocks complementary strengths of vision and touch, approaching privileged performance under realistic sensing.
- Abstract（参考訳）: ロボット操作における挿入タスクは、視覚だけでは解決できない正確で接触に富んだ相互作用を要求する。
触覚フィードバックは直感的に価値があるが、既存の研究では、ナビオ・触覚融合はしばしば一貫した改善をもたらすことができないことが示されている。
本研究では,手首カメラの観察と触覚信号の統合を,構造化された自己および横断的注意を通して行うビジュオ触覚融合のためのクロスモーダルトランス (CMT) を提案する。
触覚の埋め込みを安定させるために,人間の運動制御の原理を反映した両力バランスを促進する物理インフォームド正規化を導入する。
TacSLベンチマークの実験では、対称性の正則化によるCMTは96.59%の挿入成功率を達成し、ナイーブとゲート融合ベースラインを超越し、特権付き "wrist + contact force" 構成(96.09%)と密接に一致している。
これらの結果は2つの中心的な洞察を浮き彫りにしている。
一 触覚は、正確な調整に欠かせないもので、
(II) 物理インフォームド正規化によりさらに強化された原理的マルチモーダル融合は、視覚と触覚の相補的な強みを解き、現実的な知覚の下で特権的性能に近づく。
関連論文リスト
- AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion [60.79507611737292]
人間は視覚知覚と触覚フィードバックをシームレスに統合することで、安定的で適応的な把握を実現する。
既存のロボットグルーピングアプローチは、視覚入力と接触後の触覚誘導適応機構の欠如に依存している。
本稿では, 把握生成, 実現可能性予測, 適応的改善を統合した統合型ビジュオタクティル・フュージョン・グリーティング・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-06T16:29:11Z) - Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation [17.63466252699545]
人間のような器用な手は人間レベルの操作機能を提供するが、実際のハードウェアにデプロイできるコントロールポリシーを訓練することは困難である。
本稿では,高密度触覚フィードバックと関節トルクセンサを併用したシミュレート・トゥ・リアル強化学習法を提案する。
これは、シミュレーションで完全に訓練され、実際のハードウェア上でゼロショットを転送するマルチフィンガーデキスタラスハンドにおける制御可能なグリップの初めてのデモンストレーションである。
論文 参考訳（メタデータ） (2026-07-06T11:15:36Z) - Current as Touch: Proprioceptive Contact Feedback for Compliant Dexterous Manipulation [21.695801136739558]
本稿では,モータ電流と関節状態から接触認識コンプライアンスの手がかりを学習するプロプライエセプション駆動型フレームワークを提案する。
本手法は,標準PDコントローラの適合基準位置を予測する。
実験では、安定した整合性把握、より安全で効率的な遠隔操作、および外部触覚や力センサーを使わずに下流政策学習の改善が示されている。
論文 参考訳（メタデータ） (2026-07-03T17:59:50Z) - Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation [74.87716678195099]
光触覚センサーを利用した視覚触覚ポリシーは、コンタクトリッチな操作において大きな可能性を秘めている。
これらの利点にもかかわらず、接触リッチな操作に必要なきめ細かい接触状態の抽出は未解決の課題である。
本研究では,触覚を触覚で認識し,触覚を触覚で表現する手法を提案する。
論文 参考訳（メタデータ） (2026-06-29T08:20:18Z) - TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation [46.82050380051203]
接触に富んだ操作では、ロボットは物理的な動的接触遷移や複雑な表面ジオメトリを継続的に制御し、制御する必要がある。
近年の模倣学習手法は触覚や力のフィードバックを取り入れて接触認識制御を改善するが、大域的な力や局所的な触覚の非対称的な役割をモデル化することは滅多にない。
リアルタイム操作のための軽量な力量予測フレームワークであるTacForeSightを提案する。
論文 参考訳（メタデータ） (2026-06-09T17:59:03Z) - SECOND-Grasp: Semantic Contact-guided Dexterous Grasping [60.1519218638742]
Second-Grasp (Semantic Contact-guided Dexterous Grasping) は、ロボットハンドが意味論的推論に基づいて把握戦略を調整できる統合されたフレームワークである。
我々のアプローチは、目に見えるカテゴリーと目に見えないカテゴリの両方で成功率を上げるために、一貫してベースラインを上回ります。
論文 参考訳（メタデータ） (2026-05-13T07:37:00Z) - Cross-Modal Visuo-Tactile Object Perception [11.137546214476243]
物理的特性の推定は、安全で効率的な自律ロボット操作に不可欠である。
物理オブジェクト特性の構造化された因果潜在状態空間を学習するために,Cross-Modal Latent Filter (CMLF)を提案する。
論文 参考訳（メタデータ） (2026-04-02T14:41:33Z) - FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation [8.726448573057725]
本稿では,力覚をコンタクトリッチな操作に統合する新しいフレームワークであるForce-Distilled VLAを提案する。
当社のアプローチのコアは、学習可能なクエリトークンをマッピングすることで、フォースを蒸留するFDM(Force Distillation Module)である。
推理中、この蒸留された力トークンは、予め訓練されたVLMに注入され、力を認識する推論が可能となる。
論文 参考訳（メタデータ） (2026-02-02T14:19:46Z) - UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。
UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する
高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
論文 参考訳（メタデータ） (2026-02-01T11:03:01Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳（メタデータ） (2026-01-28T04:22:47Z) - Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation [12.509181374985936]
複数の指を持つ人間のような器用な手は、人間レベルの操作機能を提供する。
しかし、実際のハードウェアに直接デプロイ可能なトレーニングコントロールポリシは、コンタクトリッチな物理のため、依然として難しいままです。
本稿では,高密度触覚フィードバックと関節トルクセンシングを併用して身体的相互作用を調節する実践的枠組みを提案する。
論文 参考訳（メタデータ） (2026-01-06T07:26:39Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation [21.78866976181311]
See-through-skin (STS) センサーは触覚と視覚を結合する。
既存のSTSの設計では、同時的なマルチモーダル認識が欠如し、信頼性の低い触覚追跡に悩まされている。
STSセンサであるTacThruを導入し,視覚認識と触覚信号抽出を同時に行う。
論文 参考訳（メタデータ） (2025-12-10T17:35:13Z) - Enhancing Tactile-based Reinforcement Learning for Robotic Control [32.565866574593635]
我々は,触覚観察をより効果的に活用するために,自己教師付き学習法(SSL)を開発した。
疎二元触覚信号がデキスタリティに重要であることを実証的に実証した。
我々は,ロボット触覚オリンピアド(RoTO)ベンチマークを公開し,触覚に基づく操作に関する今後の研究を標準化し,促進する。
論文 参考訳（メタデータ） (2025-10-24T16:15:05Z) - TranTac: Leveraging Transient Tactile Signals for Contact-Rich Robotic Manipulation [11.834021644402148]
鍵をロックに挿入したり、USBデバイスをポートに差し込んだりといったロボット操作は、視覚的な認識が不十分な場合に失敗する可能性がある。
本稿では,データ効率と低コストな触覚検知・制御フレームワークであるTranTacを紹介する。
マイクロメータスケールで動的翻訳およびねじり変形を検出することができる。
論文 参考訳（メタデータ） (2025-09-20T06:25:59Z) - ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
ForceVLAは、新しいエンドツーエンド操作フレームワークである。
外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
論文 参考訳（メタデータ） (2025-05-28T09:24:25Z) - Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。
本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。
以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
論文 参考訳（メタデータ） (2023-11-02T14:02:42Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - Learning Compliance Adaptation in Contact-Rich Manipulation [81.40695846555955]
本稿では,コンタクトリッチタスクに必要な力プロファイルの予測モデルを学習するための新しいアプローチを提案する。
このアプローチは、双方向Gated Recurrent Units (Bi-GRU) に基づく異常検出と適応力/インピーダンス制御を組み合わせたものである。
論文 参考訳（メタデータ） (2020-05-01T05:23:34Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳（メタデータ） (2020-03-16T01:31:29Z) - The Feeling of Success: Does Touch Sensing Help Predict Grasp Outcomes? [57.366931129764815]
両指にGelSight高解像度触覚センサを装着した2本指グリップを用いて,9000以上の握力試験を行った。
実験結果から,触覚を取り入れることで把握性能が著しく向上することが示唆された。
論文 参考訳（メタデータ） (2017-10-16T05:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。