論文の概要: Visuo-tactile Diffusion Policy for Robotic Manipulation with Auxiliary Tactile Dynamics Prediction

• arxiv url: http://arxiv.org/abs/2611.02677v1
• Date: Mon, 02 Nov 2026 07:32:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:54:44.350519
• Title: Visuo-tactile Diffusion Policy for Robotic Manipulation with Auxiliary Tactile Dynamics Prediction
• Title（参考訳）: 補助的触覚ダイナミクス予測を用いたロボットマニピュレーションのための粘性触覚拡散政策
• Abstract要約: ロングホライズン・ロボティクス・アセンブリは、把握、アライメント、挿入にまたがる信頼性の高い知覚と行動を必要とする。 視覚は、グローバルなオブジェクトのポーズとシーンコンテキストをキャプチャし、指先タッチが接触状態の変化に特に有用であるローカルなコンタクトキューを提供する。 本研究では,2つのカメラビューと2つの指先触覚画像から4段階の履歴と条件行動系列生成を組み合わせ,ビゾタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタ
• 参考スコア（独自算出の注目度）: 3.334388444558387
• License:
• Abstract: Long-horizon robotic assembly requires reliable perception and action across grasping, alignment, and insertion. Vision captures global object pose and scene context, where as fingertip touch provides local contact cues that are especially useful as contact states change. We present a visuotactile diffusion policy that combines four-step histories from two camera views and two fingertip tactile images to condition action-sequence generation. A recurrent temporal representation integrates recent observations from both modalities. To encourage it to capture how contact evolves under action, an auxiliary objective predicts fingertip-image changes two steps ahead from the temporal representation and demonstrated actions. This objective is used only during training and adds no inference-time computation. Across three independent training seeds in MuJoCo assembly experiments, the full model achieves an average success rate of $59.0\% \pm 2.6\%$, improving on the visual-only baseline ($42.7\% \pm 1.5\%$) by 16.3 percentage points.
• Abstract（参考訳）: ロングホライズン・ロボティクス・アセンブリは、把握、アライメント、挿入にまたがる信頼性の高い知覚と行動を必要とする。 視覚は、グローバルなオブジェクトのポーズとシーンコンテキストをキャプチャし、指先タッチが接触状態の変化に特に有用であるローカルなコンタクトキューを提供する。 本研究では,2つのカメラビューと2つの指先触覚画像から4段階の履歴と条件行動系列生成を組み合わせ,ビゾタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク 繰り返し時間表現は、両方のモードからの最近の観測を統合する。 動作中の接触の進化を捉えるために、補助的な目的は、指先画像が時間的表現から2段階前に変化し、行動を示す。 この目的はトレーニングでのみ使用され、推論時間計算を追加しない。 MuJoCo組立実験における3つの独立した訓練種のうち、完全なモデルは59.0\% \pm 2.6\%$の平均成功率を達成し、視覚のみのベースライン(42.7\% \pm 1.5\%$)を16.3ポイント改善する。

関連論文リスト

• Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning [47.82260577588391]
  具体的タスクエージェントは,タスク固有のモデルトレーニングを使わずに,触覚体験を用いて微調整を行うことができるかを検討する。 本研究では,触覚体験を具体的タスクエージェントに組み込むシステムであるTactile-ETAを開発した。
  論文  参考訳（メタデータ） (2026-10-20T04:27:15Z)
• Gaze Prompts: Temporally Dense Human Attention for Vision-Language-Action Fine-Tuning [15.614210118777981]
  Vision-Language-Action (VLA) は、すべてのステップでアクションを持つイメージを微調整するが、通常はタスクレベルの言語命令のみを提供する。 我々は,VR遠隔操作中に記録された視線を用いて,フレームレベルの視覚的ガイダンスを提供するエフェアイトラッカー監視型視線プロンプトを導入した。
  論文  参考訳（メタデータ） (2026-09-28T08:10:51Z)
• InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies [7.009487789080345]
  VLA(Vision-Language-Action)ポリシーは、トレーニング中に見るカメラの視点に強く依存することが多い。 InfiNoVAは、同期マルチカメラのデモを幾何学的に一貫したトレーニングビューの密度分布に変換するデータ拡張フレームワークである。
  論文  参考訳（メタデータ） (2026-09-23T11:47:58Z)
• Temporal Forcing: 4D Representation Alignment for Vision-Language-Action Models [44.595035220827754]
  VLAモデルの4次元表示アライメント法であるTemporal Forcingを提案する。 まず,バニラVLAモデルを用いて観測履歴を時間的に認識された潜在表現に要約する履歴経路を提案する。 そして、潜在表現は、時間的に一貫した幾何学的表現を通して進化する3次元世界をキャプチャする事前訓練された4次元基礎モデルによって抽出された幾何学的特徴と整合する。
  論文  参考訳（メタデータ） (2026-08-31T11:47:29Z)
• Inference-time Policy Steering via Vision and Touch [19.707194684285223]
  推論時ステアリングは、実行前に候補動作を検証することにより、デプロイ中に事前訓練された生成ロボットポリシーを適用する。 両レベル最適化問題としてマルチモーダルガイダンスを定式化するビジュオ触覚推論時ステアリングフレームワークであるViTaLを紹介する。 ViTaLは基本方針を51%上回り、単調ステアリングを少なくとも33%上回り、単純マルチモーダル核融合を20%以上上回っている。
  論文  参考訳（メタデータ） (2026-06-12T22:03:21Z)
• SECOND-Grasp: Semantic Contact-guided Dexterous Grasping [60.1519218638742]
  Second-Grasp (Semantic Contact-guided Dexterous Grasping) は、ロボットハンドが意味論的推論に基づいて把握戦略を調整できる統合されたフレームワークである。 我々のアプローチは、目に見えるカテゴリーと目に見えないカテゴリの両方で成功率を上げるために、一貫してベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-13T07:37:00Z)
• VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation [54.81449795163812]
  時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。 視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。 この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
  論文  参考訳（メタデータ） (2025-11-21T12:26:30Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
  3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。 本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
  論文  参考訳（メタデータ） (2020-07-07T20:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。