論文の概要: ViTac-Tracing: Visual-Tactile Imitation Learning of Deformable Object Tracing
- arxiv url: http://arxiv.org/abs/2603.18784v1
- Date: Thu, 19 Mar 2026 11:35:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-21 18:33:56.986207
- Title: ViTac-Tracing: Visual-Tactile Imitation Learning of Deformable Object Tracing
- Title（参考訳）: ViTac-Tracing: 変形可能な物体追跡の視覚触覚模倣学習
- Authors: Yongqiang Zhao, Haining Luo, Yupeng Wang, Emmanouil Spyrakos Papastavridis, Yiannis Demiris, Shan Luo,
- Abstract要約: 1次元(1D)と2次元(2D)の変形可能な物体追跡を実現するための新しい視覚触覚模倣学習法を提案する。
本手法は視覚的・触覚的センシングに基づく局所的・グローバル的な視点から設計する。
- 参考スコア（独自算出の注目度）: 30.40752952825574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deformable objects often appear in unstructured configurations. Tracing deformable objects helps bringing them into extended states and facilitating the downstream manipulation tasks. Due to the requirements for object-specific modeling or sim-to-real transfer, existing tracing methods either lack generalizability across different categories of deformable objects or struggle to complete tasks reliably in the real world. To address this, we propose a novel visual-tactile imitation learning method to achieve one-dimensional (1D) and two-dimensional (2D) deformable object tracing with a unified model. Our method is designed from both local and global perspectives based on visual and tactile sensing. Locally, we introduce a weighted loss that emphasizes actions maintaining contact near the center of the tactile image, improving fine-grained adjustment. Globally, we propose a tracing task loss that helps the policy to regulate task progression. On the hardware side, to compensate for the limited features extracted from visual information, we integrate tactile sensing into a low-cost teleoperation system considering both the teleoperator and the robot. Extensive ablation and comparative experiments on diverse 1D and 2D deformable objects demonstrate the effectiveness of our approach, achieving an average success rate of 80% on seen objects and 65% on unseen objects.
- Abstract（参考訳）: 変形可能なオブジェクトは、しばしば構造化されていない構成で現れる。
変形可能なオブジェクトのトレースは、それらを拡張状態に持ち込み、下流操作作業を容易にする。
オブジェクト固有のモデリングやsim-to-real転送の要求のため、既存のトレース手法は、変形可能なオブジェクトの異なるカテゴリにわたる一般化性に欠けるか、現実の世界で確実にタスクを完了させるのに苦労するかのいずれかである。
そこで本研究では,1次元(1D)と2次元(2D)の変形可能なオブジェクトトレースを統一モデルで実現するための,新しい視覚触覚模倣学習手法を提案する。
本手法は視覚的・触覚的センシングに基づく局所的・グローバル的な視点から設計する。
局所的には、触覚画像の中心付近の接触を保ち、きめ細かい調整を改善することを強調する重み付き損失を導入する。
本稿では,タスクの進行を規定する政策を支援するタスク損失の追跡手法を提案する。
ハードウェア側では,視覚情報から抽出した限られた特徴を補うため,触覚センサをテレオペレータとロボットの両方を考慮した低コスト遠隔操作システムに統合する。
多様な1次元および2次元の変形可能な物体に対する広範囲なアブレーションと比較実験は、我々のアプローチの有効性を示し、目に見えない物体では平均80%、見えない物体では65%の成功率を達成した。
関連論文リスト
- Rapid Adaptation of Particle Dynamics for Generalized Deformable Object Mobile Manipulation [25.501392381801825]
変形可能な物体を未知のダイナミクスで操作する学習の課題に対処する。
脚と手動の剛体操作のような他のロボット領域では、最先端のアプローチは未知のダイナミクスを扱うことができる。
実ロボット変形可能なオブジェクト移動操作を学習する2相法であるRAPiDを開発した。
論文 参考訳（メタデータ） (2026-03-18T20:09:55Z) - ByteLoom: Weaving Geometry-Consistent Human-Object Interactions through Progressive Curriculum Learning [19.292101162897975]
本稿では,幾何的に一貫したオブジェクト図面を持つ実写HOIビデオを生成するByteLoomを紹介する。
まず、相対座標マップ(RCM)をオブジェクトの幾何整合性を維持する普遍表現として活用するRCM-cache機構を提案する。
次に、モデル能力を進歩的なスタイルで向上し、ハンドメッシュの需要を緩和するトレーニングカリキュラムを設計する。
論文 参考訳（メタデータ） (2025-12-28T09:38:36Z) - ArtReg: Visuo-Tactile based Pose Tracking and Manipulation of Unseen Articulated Objects [2.9793019246605676]
視認できない物体の視触覚に基づく追跡のための新しい手法を提案する。
提案手法は,無意味なカルマンフィルタの定式化において,ビジュオ触点雲を統合する。
我々は,実際のロボット実験を通じて,様々な種類の未知物体に対するアプローチを広く評価してきた。
論文 参考訳（メタデータ） (2025-11-09T13:30:51Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-28T20:53:20Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Learning to Transfer In-Hand Manipulations Using a Greedy Shape
Curriculum [79.6027464700869]
本研究では, 動的シミュレーションにおける簡易物体の自然な, 頑健な手動操作が, 高品質なモーションキャプチャの例から学習可能であることを示す。
本稿では,ティーポット,バニー,ボトル,トレイン,ゾウなど,さまざまな対象に適用可能な,単純なグリージーなカリキュラム検索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-14T17:08:19Z) - Collaborative Learning for Hand and Object Reconstruction with
Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。
我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。
広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文 参考訳（メタデータ） (2022-04-27T17:00:54Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and
Tactile Representations [52.226947570070784]
両課題に対処する100のオブジェクトからなるデータセットであるObjectを,2つの重要なイノベーションで紹介する。
まず、オブジェクトは視覚的、聴覚的、触覚的なすべてのオブジェクトの知覚データをエンコードし、多数の多感覚オブジェクト認識タスクを可能にする。
第2に、Objectは統一されたオブジェクト中心のシミュレーションと、各オブジェクトの視覚的テクスチャ、触覚的読み出し、触覚的読み出しに暗黙的な表現を採用しており、データセットの使用が柔軟で共有が容易である。
論文 参考訳（メタデータ） (2021-09-16T14:00:59Z) - VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating
3D ARTiculated Objects [19.296344218177534]
3次元の明瞭な物体の空間は、その無数の意味圏、多様な形状幾何学、複雑な部分関数に非常に豊富である。
それまでの作業は, 関節パラメータを推定し, 3次元関節物体の視覚的表現として機能する, 抽象運動学的な構造が主流であった。
本研究では,物体中心の動作可能な視覚的先入観を,知覚システムが運動構造推定よりも動作可能なガイダンスを出力する,新しい知覚-相互作用ハンドシェイキングポイントとして提案する。
論文 参考訳（メタデータ） (2021-06-28T07:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。