論文の概要: Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions

• arxiv url: http://arxiv.org/abs/2509.07445v1
• Date: Tue, 09 Sep 2025 07:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.196693
• Title: Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions
• Title（参考訳）: Text2Touch: LLMで設計されたリワード機能を備えた触覚内操作
• Abstract要約: 大規模言語モデル (LLM) は、厳密な操作のための報酬設計を自動化し始めている。 初期の研究では触覚は検討されていないが、これは人間のような繊細さにとって重要であることが知られている。 実世界の視覚に基づく触覚センサを用いた多軸物体回転の課題に対して, LLM による報酬を付与する Text2Touch を提案する。
• 参考スコア（独自算出の注目度）: 5.590634826401321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are beginning to automate reward design for dexterous manipulation. However, no prior work has considered tactile sensing, which is known to be critical for human-like dexterity. We present Text2Touch, bringing LLM-crafted rewards to the challenging task of multi-axis in-hand object rotation with real-world vision based tactile sensing in palm-up and palm-down configurations. Our prompt engineering strategy scales to over 70 environment variables, and sim-to-real distillation enables successful policy transfer to a tactile-enabled fully actuated four-fingered dexterous robot hand. Text2Touch significantly outperforms a carefully tuned human-engineered baseline, demonstrating superior rotation speed and stability while relying on reward functions that are an order of magnitude shorter and simpler. These results illustrate how LLM-designed rewards can significantly reduce the time from concept to deployable dexterous tactile skills, supporting more rapid and scalable multimodal robot learning. Project website: https://hpfield.github.io/text2touch-website
• Abstract（参考訳）: 大規模言語モデル (LLM) は、厳密な操作のための報酬設計を自動化し始めている。 しかし、従来の研究では触覚は考慮されておらず、これは人間のような器用さにとって重要なものであることが知られている。 実世界の視覚をベースとした触覚センサによるパームアップ, パームダウン構成における多軸物体回転の課題に対して, LLM-crafted rewards を応用した Text2Touch を提案する。 我々の迅速なエンジニアリング戦略は70以上の環境変数にスケールし、シム・トゥ・リアル蒸留は、触覚対応のフルアクチュレートされた4本指のロボットハンドへのポリシー伝達を成功させる。 Text2Touchは、注意深く調整された人間工学のベースラインを著しく上回り、より優れた回転速度と安定性を示しながら、桁違いに短くてシンプルな報酬関数に依存している。 これらの結果は、LLMが設計した報酬が、コンセプトからデプロイ可能なデキスタラスな触覚スキルまでの時間を著しく短縮し、より迅速でスケーラブルなマルチモーダルロボット学習をサポートすることを示している。 プロジェクトウェブサイト: https://hpfield.github.io/text2touch-website

関連論文リスト

• ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation [30.004466515831634]
  ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。 これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。 ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-07-24T17:59:33Z)
• AnyDexRT: Calibration-Free Dexterous Hand Retargeting with Few-Shot Human Guidance [52.973947477815614]
  AnyDexRT は人のような器用な手間で直感的な器用な遠隔操作を行うキャリブレーションのない手法である。 実験によると、AnyDexRTは品質を改善し、手動チューニングを減らし、従来の方法よりも直感的で効率的な制御を提供する。
  論文  参考訳（メタデータ） (2026-07-09T10:29:53Z)
• T-Rex: Tactile-Reactive Dexterous Manipulation [139.71263755530654]
  本稿では,新しい時相触覚VQ-VAEエンコーダを備えた可変レートMixture-of-Transformers (MoT)アーキテクチャを提案する。 微妙な力制御と変形可能な物体操作を必要とする12の操作課題に対して,触覚反応が有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-15T17:59:55Z)
• Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
  触覚のみのブラインドグリップのためのフレームワークを提案する。 本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。 第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。 第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
  論文  参考訳（メタデータ） (2026-06-10T07:46:38Z)
• TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
  データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。 まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。 そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:58:32Z)
• PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation [43.81692375130905]
  PTLD: sim-to-real Privileged Tactile Latent Distillationを紹介した。 PTLDは触覚感覚を取り入れることで,シミュレーションで訓練されたプロテアーゼの制御ポリシーを著しく改善することができることを示す。
  論文  参考訳（メタデータ） (2026-03-04T19:17:42Z)
• MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
  MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。 MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
  論文  参考訳（メタデータ） (2026-02-05T02:49:52Z)
• Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [50.34179054785646]
  ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。 Taccelは正確な物理シミュレーションとリアルな触覚信号を提供し、ユーザフレンドリーなAPIを通じて柔軟なロボットセンサー構成をサポートする。 これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
  論文  参考訳（メタデータ） (2025-04-17T12:57:11Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch [9.606323817785114]
  我々は,高密度のsim-to-realタッチを用いた重力不変多軸物体回転システムであるAnyRotateを提案する。 我々の定式化により、統一されたポリシーの訓練により、任意の回転軸に関する未知の物体を任意の方向で回転させることができる。 リッチな多指触覚センシングは不安定な把握を検知し、ポリシーの堅牢性を改善するリアクティブな振る舞いを提供する。
  論文  参考訳（メタデータ） (2024-05-12T22:51:35Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Dexterity from Touch: Self-Supervised Pre-Training of Tactile Representations with Robotic Play [15.780086627089885]
  T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。 第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。 第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:20Z)
• Rotating without Seeing: Towards In-hand Dexterity through Touch [43.87509744768282]
  本稿では,タッチデクスタリティ(Touch Dexterity)を提案する。 小さな領域で正確な触覚センサーに頼る代わりに、ロボットハンドの片側をオーバーレイする密度の高い二分力センサー(タッチまたはタッチなし)を用いた新しいシステム設計を導入する。 我々は,各種物体のシミュレーションに強化学習を用いて手動回転ポリシーを訓練する。タッチオンリーセンシングを応用して,実際のロボットの手で直接ポリシーを展開し,トレーニングで提示されていない新規物体を回転させることができる。
  論文  参考訳（メタデータ） (2023-03-20T05:38:30Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• PyTouch: A Machine Learning Library for Touch Processing [68.32055581488557]
  我々は、タッチセンシング信号の処理に特化した、最初の機械学習ライブラリであるPyTouchを紹介する。 PyTouchはモジュール式で使いやすく、最先端のタッチ処理機能をサービスとして提供するように設計されている。 タッチ検出,スリップ,オブジェクトポーズ推定などのタッチ処理タスクにおいて,触覚センサの実際のデータからPyTouchを評価する。
  論文  参考訳（メタデータ） (2021-05-26T18:55:18Z)
• TACTO: A Fast, Flexible and Open-source Simulator for High-Resolution Vision-based Tactile Sensors [8.497185333795477]
  TACTOは、視覚ベースの触覚センサのための高速で柔軟でオープンソースのシミュレータです。 リアルな高解像度のタッチ読み取りを毎秒数百フレームでレンダリングできる。 我々は,100万の把握から触覚による把握安定性の予測を学習することにより,知覚タスクにおけるTACTOの実証を行う。
  論文  参考訳（メタデータ） (2020-12-15T17:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。