論文の概要: Language-Guided Representation Learning for Robust Cross-Sensor Material Recognition
- arxiv url: http://arxiv.org/abs/2609.14783v1
- Date: Sun, 13 Sep 2026 20:53:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.971062
- Title: Language-Guided Representation Learning for Robust Cross-Sensor Material Recognition
- Title（参考訳）: ロバストなクロスセンサ材料認識のための言語指導型表現学習
- Abstract要約: センサ・ロバストな触覚表現を学習するための言語誘導蒸留フレームワークを提案する。
39Kサンプルのタッチ言語データセットを人手による注釈付き材料ラベルで構築する。
触覚エンコーダをトレーニングし、センサ固有の触覚画像と言語埋め込みを共有意味空間に配置する。
- 参考スコア（独自算出の注目度）: 1.441595027675735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robots need touch to manipulate objects safely and reliably, as many properties, such as softness, texture, and contact stability, are hard to infer from vision alone. However, vision-based tactile sensors yield different observations of the same material due to variations in optics, elastomer properties, and illumination, leading to poor generalization when trained on a single or multiple sensors. We propose a language-guided distillation framework for learning sensor-robust tactile representations. Language encodes high-level semantic properties of touch (e.g., rough, soft, slippery) that remain invariant across sensing hardware, providing a natural sensor-agnostic supervisory signal. We construct a 39K-sample touch-language dataset with human-annotated material labels and train a tactile encoder to align sensor-specific tactile images with language embeddings in a shared semantic space. We evaluate our approach for few-shot learning and cross-sensor transfer and benchmark it on six existing tactile datasets. Our method achieves 95% accuracy in the 100-shot setting, improves cross-sensor transfer by an average of 13.3% accuracy, and yields up to 19% accuracy gains across six existing tactile datasets. These results demonstrate that language-guided distillation enables scalable and hardware-agnostic tactile representation learning. Code and dataset are available at https://mashood3624.github.io/Language_Tactile/
- Abstract（参考訳）: ロボットは、ソフトネス、テクスチャ、接触安定性など多くの特性が視覚だけでは推測できないため、物体を安全かつ確実に操作するためにタッチが必要である。
しかし、視覚に基づく触覚センサは、光学、エラストマー特性、照明のばらつきにより、同じ物質の異なる観察結果をもたらすため、単一または複数のセンサーで訓練された場合、一般化が不十分になる。
センサ・ロバストな触覚表現を学習するための言語誘導蒸留フレームワークを提案する。
言語はタッチ(例えば、粗い、柔らかい、滑りやすい)の高レベルなセマンティック特性をコードし、センサーに依存しない自然な監視信号を提供する。
我々は,センサ固有の触覚画像と言語埋め込みを共有意味空間に組み込むための触覚エンコーダをトレーニングし,人名ラベル付き39Kサンプルのタッチ言語データセットを構築した。
筆者らのアプローチを,数ショットの学習とクロスセンサ・トランスファーで評価し,既存の6つの触覚データセットでベンチマークした。
提案手法は,100ショット設定において95%の精度を実現し,平均13.3%の精度でクロスセンサ転送を改善し,既存の6つの触覚データセットに対して最大19%の精度向上を実現する。
これらの結果から,言語誘導蒸留により,スケーラブルでハードウェアに依存しない触覚表現学習が可能であることが示唆された。
コードとデータセットはhttps://mashood3624.github.io/Language_Tactile/で公開されている。
関連論文リスト
- Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor [52.33204893988409]
本稿では,一様照明をカスタマイズした視覚触覚センサと統合認識フレームワークを提案する。
提案するハードウェア・ソフトウェア・フレームワークは、複雑なロボット操作のための高忠実度フィードバックと強力なマルチモーダル認識ベースラインを提供する。
論文 参考訳（メタデータ） (2026-08-25T07:25:27Z) - TactX: Learning Shared Tactile Representations Across Diverse Sensors [18.127088232068456]
本稿では,センサ間の触覚表現を伝達可能なフレームワークであるTactXを提案する。
TactXは、対の接触データに基づいて訓練されたモダリティ固有のエンコーダを通して、異質な触覚観測を共有潜在空間にマッピングする。
実験によると、TactXはオブジェクトレベルの接触情報を保存しながら、センサー間で触覚表現を調整している。
論文 参考訳（メタデータ） (2026-06-30T07:09:40Z) - HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision [7.104046531938793]
HT-Benchは、デキスタラスなフルハンド触覚センシングのための大規模なベンチマークである。
HandTouchはベクトル量子化された視覚触覚エンコーダで、プログレッシブな空間、クロスモーダル、時間的トレーニングを通じて触覚表現を学習する。
論文 参考訳（メタデータ） (2026-06-17T15:01:30Z) - TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。
まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。
そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
論文 参考訳（メタデータ） (2026-06-10T03:58:32Z) - Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。
本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。
スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
論文 参考訳（メタデータ） (2026-02-14T16:05:08Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - SensorLM: Learning the Language of Wearable Sensors [50.95988682423808]
本稿では,自然言語によるウェアラブルセンサデータ理解を可能にするセンサ言語基盤モデルのファミリーであるSensorLMを紹介する。
本稿では,センサデータから統計的,構造的,意味的な情報を収集する階層的なキャプション生成パイプラインを提案する。
このアプローチにより、これまでで最大のセンサー言語データセットのキュレーションが可能となり、103,000人以上から5970万時間以上のデータを収集した。
論文 参考訳（メタデータ） (2025-06-10T17:13:09Z) - AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors [11.506370451126378]
Visuo-Tactileセンサーは、人間の触覚をエミュレートし、ロボットが物体を理解して操作できるようにする。
そこで本研究では,4種類のビジュオ触覚センサを用いたマルチモーダル触覚マルチセンサデータセットであるTacQuadを紹介する。
マルチレベル構造を持つ静的動的マルチセンサ表現学習フレームワークであるAnyTouchを提案する。
論文 参考訳（メタデータ） (2025-02-15T08:33:25Z) - Transferring Tactile Data Across Sensors [1.5566524830295307]
本稿では,触覚センサ間のデータ変換手法について紹介する。
我々は、BioTac信号をDIGITセンサーに変換することで、アプローチを実証する。
筆者らのフレームワークは,信号データを対応する3次元変形メッシュに変換する第2のステップと,これら3次元変形メッシュを1つのセンサから別のセンサへ変換する第3のステップと,出力画像を生成する第3のステップで構成されている。
論文 参考訳（メタデータ） (2024-10-18T09:15:47Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳（メタデータ） (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。