論文の概要: RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization
- arxiv url: http://arxiv.org/abs/2606.31694v1
- Date: Tue, 30 Jun 2026 14:05:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.246496
- Title: RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization
- Title(参考訳): RCT:触覚一般化のためのロボットによるタッチビジョンランゲージデータセット
- Abstract要約: RCT(Robotic Contact Tactile、ロボット接触触覚)は、122の産業用基準材料上のロボットプレスから29,279個の触覚フレームを持つ、タッチビジョンのデータセットである。
RCTは、各プレスを接触シーケンスとして保存し、材料、カテゴリ、センサー、接触位置、接触シーケンスのホールドアウト評価を可能にする。
- 参考スコア(独自算出の注目度): 6.164466357310231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For robots manipulating open-world objects, tactile representations must generalize to unseen materials. We introduce RCT (Robotic Contact Tactile), a robot-collected touch-vision-language dataset with 29,279 tactile frames from full robot presses on 122 industrial reference materials in 7 categories, recorded with three DIGIT sensors at multiple contact positions. RCT preserves each press as a contact sequence, enabling held-out evaluation across materials, categories, sensors, contact positions, and contact sequences. Frames from one press are strongly correlated: frame-random splits can place near-duplicate observations of the same physical interaction in both training and test. With the encoder held fixed, removing contact-sequence overlap reduces tactile-to-text Recall@1 by 17.7 percentage points. When materials are additionally held out at training time, performance drops sharply, leaving held-out-material Recall@1 at 25.1 +/- 6.1% averaged over three held-out draws. The public TVL/HCT split shows the same structure: every test contact sequence appears in training, and raw-pixel nearest neighbors recover the correct sequence in 98.3% of cases. Uniformly sampling a press improves contrastive training, and RCT-trained embeddings improve category probes on unseen materials. RCT makes contact-sequence-aware, held-out-material evaluation reproducible and exposes novel-material generalization as a central challenge for robotic tactile perception. The RCT dataset is open-sourced at https://faerber-lab.github.io/RCT/
- Abstract(参考訳): オープンワールドオブジェクトを操作するロボットにとって、触覚表現は目に見えない素材に一般化する必要がある。
RCT(Robotic Contact Tactile)は,3つのDIGITセンサを複数の接触位置で記録した,産業用基準材122種類のフルロボットプレスの触覚フレーム29,279個のロボットコンパイル型タッチビジョン言語データセットである。
RCTは、各プレスを接触シーケンスとして保存し、材料、カテゴリ、センサー、接触位置、接触シーケンスのホールドアウト評価を可能にする。
フレームランダム分割は、トレーニングとテストの両方において、同じ物理的相互作用のほぼ重複した観察を行うことができる。
エンコーダが固定されていると、接触シーケンスの重複を取り除くことで、触覚からテキストへのリコール@1が17.7ポイント削減される。
トレーニング時に素材が追加的に保持されると、パフォーマンスが急激に低下し、ホールドアウト素材のRecall@1は3つのホールドアウトドローの平均25.1 +/-6.1%となる。
パブリックTVL/HCTスプリットは同じ構造で、全てのテストコンタクトシーケンスがトレーニング中に現れ、近隣のピクセルが98.3%のケースで正しいシーケンスを回復する。
プレスを均一にサンプリングすることで、コントラストトレーニングが向上し、RCTでトレーニングされた埋め込みは、目に見えない材料のカテゴリプローブを改善する。
RCTは,ロボットの触覚知覚の中心的課題として,接触系列を意識し,素材評価を再現可能とし,新しい素材の一般化を提示する。
RCTデータセットはhttps://faerber-lab.github.io/RCT/でオープンソース化されている。
関連論文リスト
- Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor [52.33204893988409]
本稿では,一様照明をカスタマイズした視覚触覚センサと統合認識フレームワークを提案する。
提案するハードウェア・ソフトウェア・フレームワークは、複雑なロボット操作のための高忠実度フィードバックと強力なマルチモーダル認識ベースラインを提供する。
論文 参考訳(メタデータ) (2026-08-25T07:25:27Z) - Tactus: Open-Vocabulary Object Recognition from Low-Cost Pressure Arrays [0.0]
圧力データのみからテキストクエリに回答するオープンモデルであるTactusを提示する。
187のトレーニング記録、144kの未ラベルの同センサーフレームで事前トレーニングされたマスク付きオートエンコーダ、センサー独自のキャリブレーションアフィン。
重み、コード、モデルがプラグインするメモリ層は、オープンにリリースされる。
論文 参考訳(メタデータ) (2026-08-04T06:08:21Z) - Heterogeneous Tactile Transformer [12.676986440348543]
Heterogeneous Tactile Transformer (HTT)は、異種センサ間の共用触覚表現を学習するフレームワークである。
Pretrainingは、新しいHeterogeneous Paired Tactileデータセットを使用し、4つの視覚およびアレイベースの触覚センサーに1.6Mの同期フレームを含む。
HTTは、新しいタスクや以前は目に見えないセンサーに適応する転送可能な表現を学習することが示されている。
論文 参考訳(メタデータ) (2026-06-29T08:24:38Z) - TacVerse: A Multi-Sensor Dataset and Benchmark for Cross-Sensor Vision-Based Tactile Perception [7.968185063285978]
マルチセンサー・データセットと、クロスセンサー・ビジョンに基づく触覚知覚のためのベンチマークであるTacVerseを提案する。
データセットには、7つの視覚ベースの触覚センサーから106,800枚の触覚イメージが含まれている。
全てのタスクに対して強いセンサー内性能は、収集された触覚観察が対象の目的に対して有益であることを示している。
論文 参考訳(メタデータ) (2026-06-24T14:22:48Z) - HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision [7.104046531938793]
HT-Benchは、デキスタラスなフルハンド触覚センシングのための大規模なベンチマークである。
HandTouchはベクトル量子化された視覚触覚エンコーダで、プログレッシブな空間、クロスモーダル、時間的トレーニングを通じて触覚表現を学習する。
論文 参考訳(メタデータ) (2026-06-17T15:01:30Z) - FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation [66.22092641373067]
FTP-1は、トランスファー可能な触覚操作能力を取得するために事前訓練された最初の一般基盤触覚ポリシーである。
画像、配列、状態ベースの信号を含む様々な触覚入力をサポートする。
プレトレーニング中に見られるセンサーを超える触覚スキルを学習する。
論文 参考訳(メタデータ) (2026-06-11T09:30:09Z) - Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
触覚のみのブラインドグリップのためのフレームワークを提案する。
本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。
第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。
第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
論文 参考訳(メタデータ) (2026-06-10T07:46:38Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。
本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。
スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
論文 参考訳(メタデータ) (2026-02-14T16:05:08Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳(メタデータ) (2025-12-18T18:18:17Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - GenerateCT: Text-Conditional Generation of 3D Chest CT Volumes [2.410738584733268]
GenerateCTは、フリーフォームの医療用テキストプロンプトに条件付けされた3D医療用画像を生成するための最初のアプローチである。
GenerateCTを最先端のメソッドと比較し、すべての主要な指標でその優位性を実証した。
GenerateCTは、任意のサイズの合成トレーニングデータセットのスケーリングを可能にする。
論文 参考訳(メタデータ) (2023-05-25T13:16:39Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。