論文の概要: FlowTouch: View-Invariant Visuo-Tactile Prediction

• arxiv url: http://arxiv.org/abs/2603.08255v1
• Date: Mon, 09 Mar 2026 11:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.834451
• Title: FlowTouch: View-Invariant Visuo-Tactile Prediction
• Title（参考訳）: FlowTouch: View-invariant Visuo-Tactile Prediction
• Authors: Seongjin Bien, Carlo Kneissl, Tobias Jülg, Frank Fundel, Thomas Ressler-Antal, Florian Walter, Björn Ommer, Gitta Kutyniok, Wolfram Burgard,
• Abstract要約: 本研究では,ビュー不変ビジュオ触覚予測の新しいモデルであるFlowTouchを紹介する。 私たちのキーとなるアイデアは、オブジェクトのローカルな3Dメッシュを使用して、リッチな情報をエンコードして、触覚パターンを予測することです。 以上の結果から,FlowTouch は sim-to-real ギャップを埋め,新たなセンサインスタンスに一般化できることがわかった。
• 参考スコア（独自算出の注目度）: 35.30526041510819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tactile sensation is essential for contact-rich manipulation tasks. It provides direct feedback on object geometry, surface properties, and interaction forces, enhancing perception and enabling fine-grained control. An inherent limitation of tactile sensors is that readings are available only when an object is touched. This precludes their use during planning and the initial execution phase of a task. Predicting tactile information from visual information can bridge this gap. A common approach is to learn a direct mapping from camera images to the output of vision-based tactile sensors. However, the resulting model will depend strongly on the specific setup and on how well the camera can capture the area where an object is touched. In this work, we introduce FlowTouch, a novel model for view-invariant visuo-tactile prediction. Our key idea is to use an object's local 3D mesh to encode rich information for predicting tactile patterns while abstracting away from scene-dependent details. FlowTouch integrates scene reconstruction and Flow Matching-based models for image generation. Our results show that FlowTouch is able to bridge the sim-to-real gap and generalize to new sensor instances. We further show that the resulting tactile images can be used for downstream grasp stability prediction. Our code, datasets and videos are available at https://flowtouch.github.io/
• Abstract（参考訳）: 触覚はコンタクトリッチな操作作業に不可欠である。 物体の幾何学、表面特性、相互作用力への直接的なフィードバックを提供し、知覚を高め、きめ細かい制御を可能にする。 触覚センサーの固有の制限は、物体に触れた時にのみ読み取ることができることである。 これは、計画とタスクの初期実行フェーズにおける使用を妨げます。 視覚情報から触覚情報を予測することで、このギャップを埋めることができる。 一般的なアプローチは、カメライメージから視覚ベースの触覚センサの出力への直接マッピングを学習することである。 しかし、結果として得られるモデルは、特定の設定と、被写体に触れた領域をカメラがどれだけうまく捉えられるかに強く依存する。 本研究では,ビュー不変ビジュオ触覚予測の新しいモデルであるFlowTouchを紹介する。 私たちのキーとなるアイデアは、オブジェクトのローカルな3Dメッシュを使用して、リッチな情報をエンコードして、シーン依存の詳細を抽象化しながら、触覚パターンを予測することです。 FlowTouchは、画像生成のためのシーン再構成とFlow Matchingベースのモデルを統合する。 以上の結果から,FlowTouch は sim-to-real ギャップを埋め,新たなセンサインスタンスに一般化できることがわかった。 さらに, 得られた触覚画像は, 下流の把握安定性予測に利用できることを示す。 私たちのコード、データセット、ビデオはhttps://flowtouch.github.io/で公開されています。

関連論文リスト

• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• RA-Touch: Retrieval-Augmented Touch Understanding with Enriched Visual Data [10.059624183053499]
  視覚触覚は、テクスチャ、柔らかさ、剛性などの物体の触覚特性を理解することを目的としている。 我々は,触覚のセマンティクスに富んだ視覚データを活用することで,視触覚知覚を改善する検索拡張フレームワークであるRA-Touchを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T12:23:21Z)
• PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
  低次元センサ信号に高次元構造情報をリンクするPseudoTouchを提案する。 低次元の視覚触覚埋め込みを学習し、そこから触覚信号を復号する深度パッチを符号化する。 学習したPseudoTouchモデルの有用性を、物体認識と把握安定性予測という2つの下流タスクで実証する。
  論文  参考訳（メタデータ） (2024-03-22T10:51:31Z)
• Attention for Robot Touch: Tactile Saliency Prediction for Robust Sim-to-Real Tactile Control [12.302685367517718]
  高解像度触覚センサーは、接触に富むロボットタスクにおける局所的な接触に関する情報を正確に提供することができる。 我々は,神経科学の人間のタッチアテンション機構にヒントを得た,ロボットタッチのためのテクスティタクティル・サリエンシ(textittactile saliency)という新しい概念を研究した。
  論文  参考訳（メタデータ） (2023-07-26T21:19:45Z)
• Controllable Visual-Tactile Synthesis [28.03469909285511]
  一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。 次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:51Z)
• TactoFind: A Tactile Only System for Object Retrieval [14.732140705441992]
  視覚感覚が欠如しているシナリオにおけるオブジェクト検索の問題について検討する。 カメラがシーン全体を観察できる視覚とは異なり、タッチセンサーは局所的であり、マニピュレータに接触しているシーンの一部のみを観察する。 本稿では,指先触覚センサによる触覚フィードバックを,視覚的フィードバックを伴わずに,新たな物体の局所化,識別,把握を行うシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:50:09Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。