論文の概要: Towards Generalization of Tactile Image Generation: Reference-Free Evaluation in a Leakage-Free Setting

• arxiv url: http://arxiv.org/abs/2503.06860v1
• Date: Mon, 10 Mar 2025 02:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.666581
• Title: Towards Generalization of Tactile Image Generation: Reference-Free Evaluation in a Leakage-Free Setting
• Title（参考訳）: 触覚画像生成の一般化に向けて:リークフリー設定における基準自由評価
• Abstract要約: 触覚は人間の知覚に重要であり、コンピュータビジョン、ロボティクス、マルチモーダル学習の応用を支えている。 触覚データは入手が困難でコストがかかることが多いため、合成触覚画像の生成は、実世界の測定を拡大するためのスケーラブルなソリューションを提供する。 一般的なデータセットにおける重なり合うトレーニングとテストサンプルは、パフォーマンス指標を増大させ、触覚モデルの真の一般化可能性を見極めることを実証する。
• 参考スコア（独自算出の注目度）: 25.355424080824996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tactile sensing, which relies on direct physical contact, is critical for human perception and underpins applications in computer vision, robotics, and multimodal learning. Because tactile data is often scarce and costly to acquire, generating synthetic tactile images provides a scalable solution to augment real-world measurements. However, ensuring robust generalization in synthesizing tactile images-capturing subtle, material-specific contact features-remains challenging. We demonstrate that overlapping training and test samples in commonly used datasets inflate performance metrics, obscuring the true generalizability of tactile models. To address this, we propose a leakage-free evaluation protocol coupled with novel, reference-free metrics-TMMD, I-TMMD, CI-TMMD, and D-TMMD-tailored for tactile generation. Moreover, we propose a vision-to-touch generation method that leverages text as an intermediate modality by incorporating concise, material-specific descriptions during training to better capture essential tactile features. Experiments on two popular visuo-tactile datasets, Touch and Go and HCT, show that our approach achieves superior performance and enhanced generalization in a leakage-free setting.
• Abstract（参考訳）: 触覚は直接の物理的接触に依存し、人間の知覚に重要であり、コンピュータビジョン、ロボティクス、マルチモーダル学習の応用を支えている。 触覚データは入手が困難でコストがかかることが多いため、合成触覚画像の生成は、実世界の測定を拡大するためのスケーラブルなソリューションを提供する。 しかし、触覚画像の微妙な素材特異的な接触特徴を捕捉する合成の堅牢な一般化は困難である。 一般的なデータセットにおける重なり合うトレーニングとテストサンプルは、パフォーマンス指標を増大させ、触覚モデルの真の一般化可能性を見極めることを実証する。 そこで本研究では,触覚生成に適した新しい基準のない指標-TMMD,I-TMMD,CI-TMMD,D-TMMDを併用したリークフリー評価プロトコルを提案する。 また,テキストを中間モダリティとして活用する視覚・触覚生成手法を提案する。 Touch と Go と HCT の2つのビジュオ触覚データセットを用いた実験により,本手法が優れた性能を実現し,漏洩のない環境での一般化が促進されたことを示す。

関連論文リスト

• AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion [60.79507611737292]
  人間は視覚知覚と触覚フィードバックをシームレスに統合することで、安定的で適応的な把握を実現する。 既存のロボットグルーピングアプローチは、視覚入力と接触後の触覚誘導適応機構の欠如に依存している。 本稿では, 把握生成, 実現可能性予測, 適応的改善を統合した統合型ビジュオタクティル・フュージョン・グリーティング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-06T16:29:11Z)
• FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation [19.661583133282477]
  RGB観測から指ごとの圧力触覚画像を合成する学習フレームワークであるFeature-Extracted Latent Tactile (FELT)を提案する。 FELTは、大きな凍結されたビジュアルエンコーダと軽量なクエリデコーダを使用して、単一のフィードフォワードパスで触覚信号を予測する。 4つの接触リッチな操作タスクの実験は、生成した触覚画像と潜伏した触覚特徴の両方がポリシーの成功を改善することを示した。
  論文  参考訳（メタデータ） (2026-07-22T19:32:42Z)
• VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios [7.9567869558684094]
  VQ-Touchは、クロスセンサーとマルチシナリオアプリケーションの両方をサポートする触覚生成フレームワークである。 データから複雑な変形やテクスチャの特徴を効率的に抽出するために,DM-VQGANを提案する。 本稿では,画像やラベルなどのマルチモーダル生成タスクをサポートする統一された条件付けインタフェースを備えた離散拡散デコーダを提案する。
  論文  参考訳（メタデータ） (2026-07-16T08:53:41Z)
• UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation [31.729644010916576]
  触覚の理解と生成を目的とした初のUMMであるUniTacを提案する。 UniTacは、触覚プロセスを非接触から接触への移行としてモデル化し、デュアルレベル表現を通じてセンサーとオブジェクト間の物理的相互作用をキャプチャする。 触覚理解のために、UniTacはオブジェクトのプロパティ記述とセンサー識別という2つのタスクを導入し、物理的およびクロスセンサー情報に対する推論を強化する。 触覚生成のための2段階のトレーニングパラダイムを設計し,実際の触覚接触をシミュレートするセンサ・プライア・サンプリング・ストラテジーと組み合わせた。
  論文  参考訳（メタデータ） (2026-06-30T10:25:46Z)
• T-Rex: Tactile-Reactive Dexterous Manipulation [139.71263755530654]
  本稿では,新しい時相触覚VQ-VAEエンコーダを備えた可変レートMixture-of-Transformers (MoT)アーキテクチャを提案する。 微妙な力制御と変形可能な物体操作を必要とする12の操作課題に対して,触覚反応が有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-15T17:59:55Z)
• Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
  ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。 本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。 スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
  論文  参考訳（メタデータ） (2026-02-14T16:05:08Z)
• UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
  そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。 UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する 高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
  論文  参考訳（メタデータ） (2026-02-01T11:03:01Z)
• TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
  TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。 TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。 高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
  論文  参考訳（メタデータ） (2026-01-28T04:22:47Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities [19.45726946555448]
  触覚は視覚と言語に豊かで相補的な情報を提供し、ロボットはきめ細かい物体の性質を知覚することができる。 既存の手法では、触覚、言語、視覚のモダリティ間の中間的コミュニケーションを完全に統合することができない。 TLV-CoReは,CLIPをベースとした触覚・言語・視覚協調表現学習手法である。
  論文  参考訳（メタデータ） (2025-11-14T17:34:20Z)
• Tactile MNIST: Benchmarking Active Tactile Perception [19.93022179513013]
  本稿では,触覚タスクのためのオープンソースのGymnasium互換ベンチマークであるTactile MNIST Benchmark Suiteを紹介する。 私たちのベンチマークスイートは、単純な玩具環境から視覚ベースの触覚センサーを用いた複雑な触覚知覚タスクまで、さまざまなシミュレーションシナリオを提供しています。 また,600個の3Dプリントディジットから収集した合成3D MNIST桁モデル13,500点と実世界の触覚サンプル153,600点からなる包括的データセットも提供する。
  論文  参考訳（メタデータ） (2025-06-03T14:42:16Z)
• ControlTac: Force- and Position-Controlled Tactile Data Augmentation with a Single Reference Image [24.223013595239916]
  ControlTacは、単一の参照触覚画像、接触力、接触位置に条件付けされたリアルな触覚画像を生成する、制御可能なフレームワークである。 ControlTacは、触覚データセットを効果的に拡張し、一貫したゲインにつながることを実証します。
  論文  参考訳（メタデータ） (2025-05-26T20:01:17Z)
• Temporal Binding Foundation Model for Material Property Recognition via Tactile Sequence Perception [2.3724852180691025]
  触覚シーケンス理解のための時間的結合基盤モデルを用いた新しい手法を提案する。 提案システムは,人間の指先知覚と同様,触覚相互作用の連続的な性質を捉えている。
  論文  参考訳（メタデータ） (2025-01-24T21:47:38Z)
• Learning Generalizable Human Motion Generator with Reinforcement Learning [95.62084727984808]
  テキスト駆動型ヒューマンモーション生成は、コンピュータ支援コンテンツ作成において重要なタスクの1つである。 既存の方法は訓練データ中の特定の動作表現に過度に適合することが多く、一般化する能力を妨げている。 一般化可能なヒューマンモーション生成のための強化学習において,パスとエラーのパラダイムを取り入れた textbfInstructMotion を提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:29:12Z)
• Controllable Visual-Tactile Synthesis [28.03469909285511]
  一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。 次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:51Z)
• Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
  我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。 シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
  論文  参考訳（メタデータ） (2023-03-25T15:16:31Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints [26.118805500471066]
  視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。 本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。 グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
  論文  参考訳（メタデータ） (2022-03-29T00:24:10Z)
• Learning to Detect Slip with Barometric Tactile Sensors and a Temporal Convolutional Neural Network [7.346580429118843]
  本研究では,バロメトリック・触覚センサを用いたスリップ検出手法を提案する。 我々は、スリップを検出するために時間畳み込みニューラルネットワークを訓練し、高い検出精度を実現する。 データ駆動学習と組み合わせたバロメトリック触覚センシング技術は,スリップ補償などの操作作業に適している,と我々は主張する。
  論文  参考訳（メタデータ） (2022-02-19T08:21:56Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)
• Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing [1.9981375888949469]
  本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。 シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。 結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
  論文  参考訳（メタデータ） (2020-03-05T14:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。