論文の概要: Where to Generate Touch: Do Image Latents Preserve Material Recognition?
- arxiv url: http://arxiv.org/abs/2611.15834v1
- Date: Wed, 11 Nov 2026 18:46:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.252702
- Title: Where to Generate Touch: Do Image Latents Preserve Material Recognition?
- Title(参考訳): タッチ生成の場所:画像ラテンダーは物質認識を保存するか?
- Abstract要約: 実GelSightプレスでトレーニングされた材料分類器は、未学習の画像モデルからのエンコード・デコード再構成に引き続き取り組んでいることを示す。
我々はSD-VAE潜伏剤を選択し、それらを訓練したフォト・トゥー・タッチ・ジェネレータを示す。
- 参考スコア(独自算出の注目度): 31.684355719315334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generated touch could extend robot learning beyond recorded contacts. A tactile generator needs a latent space, and we choose one by testing whether a material classifier trained on real GelSight presses still works on encode-decode reconstructions from pretrained image models. On ObjectFolder Real, the classifier loses 6.5 to 9.7 points on reconstructions from three 16x discrete tokenizers and 0.3 points on those from the Stable Diffusion VAE (SD-VAE). The 16x tokenizers again lose far more on Touch and Go and on DIGIT object recognition (YCB-Slide). Retraining the classifier on reconstructions, with no new labels, narrows the discrete gap. SD-VAE reconstructions also keep object identity, with 76.7% object-matching accuracy against 78.9% for real touch and 67.0% for MAGVIT-v2. We therefore select SD-VAE latents and show a photo-to-touch generator trained in them. Code will be released upon acceptance.
- Abstract(参考訳): 生成されたタッチは、記録された連絡先を超えてロボットの学習を拡張することができる。
触覚生成装置は遅延空間を必要としており、実際のGelSightプレスでトレーニングされた材料分類器が、事前訓練された画像モデルからのエンコード・デコード再構成にまだ取り組んでいるかどうかをテストすることによって選択する。
ObjectFolder Realでは、3つの16倍の離散トークン化器の再構成で6.5から9.7ポイント、安定拡散VAE(SD-VAE)の0.3ポイントを失う。
16xトークンは、TouchとGo、およびDIGITオブジェクト認識(YCB-Slide)で、さらに多くを失う。
新しいラベルのないリコンストラクションで分類器をリトレーニングすることは、離散的なギャップを狭める。
SD-VAE再構成ではオブジェクトの識別も76.7%、実際のタッチでは78.9%、MAGVIT-v2では67.0%である。
そこで我々はSD-VAE潜伏剤を選択し、それらを訓練したフォト・トゥー・タッチ・ジェネレータを示す。
コードは受理時にリリースされる。
関連論文リスト
- Pixel-space video generation with U-JiT [56.12853087022071]
画素空間における生成ビデオモデルの生存可能性について検討する。
トレーニングレシピとサンプリング戦略の改善とともに,UNetライクなトランスフォーマーアーキテクチャを提案する。
128解像度の標準フレーム対ビデオタスクでは、U-JiTモデルによる生成FVDの27%向上が期待できる。
論文 参考訳(メタデータ) (2026-11-03T12:11:03Z) - Anvil: Scaling Embodied Spatial Intelligence through Knowledge Recirculation [60.72126693176622]
データ生成、トレーニング、ベンチマークのための統一的なフレームワークであるAnvilを紹介します。
Anvil-Genは、フォーム固有の生成、クロスステージ整合性検証、11のグラウンド-リレーション-Actフォームにわたる障害駆動のリコールを組み合わせた異種データフライホイールである。
Anvil-Benは、様々な具体的空間能力の学習と、ステージ能力とエラー伝播を区別するシーン関連アセスメントのためのシーンアライメントを提供する。
Anvil-MOPDは、専門教師の蒸留を通じて異種空間知識を統合する9Bの学生である。
論文 参考訳(メタデータ) (2026-10-15T13:47:08Z) - φ-RIE: From Photorealistic Reconstruction to Interactive Environments [57.657253059351795]
-RIEは、残りの復元を保ちながら、選択したオブジェクトを移動可能なシミュレータアセットに変換する。
シーン・オブザーバは、結合されたシーン・コンストラクションの証拠を共有した。
50のScanNet++シーンでは、エビデンスベースの選択と登録リトライが20mmのF1と、固定保持時の0.336から0.383に一致した。
論文 参考訳(メタデータ) (2026-09-22T17:59:52Z) - Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor [52.33204893988409]
本稿では,一様照明をカスタマイズした視覚触覚センサと統合認識フレームワークを提案する。
提案するハードウェア・ソフトウェア・フレームワークは、複雑なロボット操作のための高忠実度フィードバックと強力なマルチモーダル認識ベースラインを提供する。
論文 参考訳(メタデータ) (2026-08-25T07:25:27Z) - Seed2GS: Camera-Free, Training-Free Object Extraction from 3D Gaussian Scenes via a Single Reference-View Grounding [14.67251680492843]
本稿では,LERF-MASKの精度が最も高いSeed2GSについて述べる。
主な洞察は、ターゲットIDを3Dカバレッジから分離することである。QD-SAM3は、複数のオープン語彙候補から信頼できる参照マスクを1つ選択し、IDを一度修正する。
論文 参考訳(メタデータ) (2026-08-12T11:16:44Z) - Tactus: Open-Vocabulary Object Recognition from Low-Cost Pressure Arrays [0.0]
圧力データのみからテキストクエリに回答するオープンモデルであるTactusを提示する。
187のトレーニング記録、144kの未ラベルの同センサーフレームで事前トレーニングされたマスク付きオートエンコーダ、センサー独自のキャリブレーションアフィン。
重み、コード、モデルがプラグインするメモリ層は、オープンにリリースされる。
論文 参考訳(メタデータ) (2026-08-04T06:08:21Z) - TacGen: Touch Is a Necessary Dimension of Physical-World Representation -- Addressing Tactile Data Scarcity with Scalable Vision-to-Touch Alignment and Generation [28.54532903356491]
TacGenは、予め特定されたV+Tコントラストアライメントと潜在空間残留MLP V->Tジェネレータを組み合わせることで、触覚データ不足のボトルネックを軽減する。
マッチしたDINOv2のバックボーン、分割、プローブにより、V+Tは質量、密度、硬さ、不確実帯力ラベルでマッチしたVのみを改善する。
ジェネレータは交雑種+0.589に到達し、実際の触覚+0.585は種子間隔内に存在する。
論文 参考訳(メタデータ) (2026-06-28T03:37:04Z) - PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。
我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。
相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
論文 参考訳(メタデータ) (2024-11-17T23:09:08Z) - Sim2Real Bilevel Adaptation for Object Surface Classification using Vision-Based Tactile Sensors [14.835051543002164]
我々は、物体表面を分類するための視覚ベースの触覚センサの分野におけるSim2Realギャップを橋渡しするために拡散モデルを訓練する。
我々は,YCBモデルセットから物体表面を均一にサンプリングして画像を生成するシミュレータを用いた。
これらのシミュレートされたイメージは、拡散モデルを使用して実際のドメインに変換され、自動的に分類器を訓練するためにラベル付けされる。
論文 参考訳(メタデータ) (2023-11-02T16:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。