論文の概要: Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions

• arxiv url: http://arxiv.org/abs/2509.07445v1
• Date: Tue, 09 Sep 2025 07:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.196693
• Title: Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions
• Title（参考訳）: Text2Touch: LLMで設計されたリワード機能を備えた触覚内操作
• Authors: Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, Nathan F. Lepora,
• Abstract要約: 大規模言語モデル (LLM) は、厳密な操作のための報酬設計を自動化し始めている。 初期の研究では触覚は検討されていないが、これは人間のような繊細さにとって重要であることが知られている。 実世界の視覚に基づく触覚センサを用いた多軸物体回転の課題に対して, LLM による報酬を付与する Text2Touch を提案する。
• 参考スコア（独自算出の注目度）: 5.590634826401321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are beginning to automate reward design for dexterous manipulation. However, no prior work has considered tactile sensing, which is known to be critical for human-like dexterity. We present Text2Touch, bringing LLM-crafted rewards to the challenging task of multi-axis in-hand object rotation with real-world vision based tactile sensing in palm-up and palm-down configurations. Our prompt engineering strategy scales to over 70 environment variables, and sim-to-real distillation enables successful policy transfer to a tactile-enabled fully actuated four-fingered dexterous robot hand. Text2Touch significantly outperforms a carefully tuned human-engineered baseline, demonstrating superior rotation speed and stability while relying on reward functions that are an order of magnitude shorter and simpler. These results illustrate how LLM-designed rewards can significantly reduce the time from concept to deployable dexterous tactile skills, supporting more rapid and scalable multimodal robot learning. Project website: https://hpfield.github.io/text2touch-website
• Abstract（参考訳）: 大規模言語モデル (LLM) は、厳密な操作のための報酬設計を自動化し始めている。 しかし、従来の研究では触覚は考慮されておらず、これは人間のような器用さにとって重要なものであることが知られている。 実世界の視覚をベースとした触覚センサによるパームアップ, パームダウン構成における多軸物体回転の課題に対して, LLM-crafted rewards を応用した Text2Touch を提案する。 我々の迅速なエンジニアリング戦略は70以上の環境変数にスケールし、シム・トゥ・リアル蒸留は、触覚対応のフルアクチュレートされた4本指のロボットハンドへのポリシー伝達を成功させる。 Text2Touchは、注意深く調整された人間工学のベースラインを著しく上回り、より優れた回転速度と安定性を示しながら、桁違いに短くてシンプルな報酬関数に依存している。 これらの結果は、LLMが設計した報酬が、コンセプトからデプロイ可能なデキスタラスな触覚スキルまでの時間を著しく短縮し、より迅速でスケーラブルなマルチモーダルロボット学習をサポートすることを示している。 プロジェクトウェブサイト: https://hpfield.github.io/text2touch-website

関連論文リスト

• Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [50.34179054785646]
  ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。 Taccelは正確な物理シミュレーションとリアルな触覚信号を提供し、ユーザフレンドリーなAPIを通じて柔軟なロボットセンサー構成をサポートする。 これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
  論文  参考訳（メタデータ） (2025-04-17T12:57:11Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch [9.606323817785114]
  我々は,高密度のsim-to-realタッチを用いた重力不変多軸物体回転システムであるAnyRotateを提案する。 我々の定式化により、統一されたポリシーの訓練により、任意の回転軸に関する未知の物体を任意の方向で回転させることができる。 リッチな多指触覚センシングは不安定な把握を検知し、ポリシーの堅牢性を改善するリアクティブな振る舞いを提供する。
  論文  参考訳（メタデータ） (2024-05-12T22:51:35Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• Rotating without Seeing: Towards In-hand Dexterity through Touch [43.87509744768282]
  本稿では,タッチデクスタリティ(Touch Dexterity)を提案する。 小さな領域で正確な触覚センサーに頼る代わりに、ロボットハンドの片側をオーバーレイする密度の高い二分力センサー(タッチまたはタッチなし)を用いた新しいシステム設計を導入する。 我々は,各種物体のシミュレーションに強化学習を用いて手動回転ポリシーを訓練する。タッチオンリーセンシングを応用して,実際のロボットの手で直接ポリシーを展開し,トレーニングで提示されていない新規物体を回転させることができる。
  論文  参考訳（メタデータ） (2023-03-20T05:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。