論文の概要: TacZero: Training-Free Peg Insertion Using a General-Purpose Vision-Language Model with Tactile Feedback

• arxiv url: http://arxiv.org/abs/2610.07621v1
• Date: Tue, 06 Oct 2026 02:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.754432
• Title: TacZero: Training-Free Peg Insertion Using a General-Purpose Vision-Language Model with Tactile Feedback
• Title（参考訳）: TacZero:触覚フィードバックを用いた汎用視覚言語モデルによる無訓練ペグ挿入
• Abstract要約: 新しいコンタクトリッチな操作タスクを実行するには、ロボットはオブジェクトが互いにどのように接触するかを推測し、その結果を移動し、アクションを選択する必要がある。 本稿では,事前学習された汎用視覚言語モデル(VLM)を用いて視覚と触覚の観察を解釈するTacZeroを提案する。 実世界の筒状ペグ挿入実験では、タクゼロは数値触覚入力で20の試験のうち15の試験に成功し、20の試験では触覚入力なしで10の試験に成功した。
• 参考スコア（独自算出の注目度）: 4.7500778385485924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots that autonomously determine their actions from language instructions and sensory observations could perform new contact-rich manipulation tasks without task-specific training or hand-designed rules. To perform these tasks, robots must infer how objects contact one another and move as a result, then select actions. For contact inference and action selection, prior approaches involve designing estimation models and tactile feedback control laws, or learning models for object-motion estimation, action-outcome prediction, and action selection from tactile data. Instead, we propose TacZero, which uses a pretrained general-purpose vision-language model (VLM) to interpret visual and tactile observations and select robot actions without additional tactile or manipulation training or task-specific rules for contact interpretation or action selection. TacZero provides the VLM with camera images, robot state, and three-axis tactile responses represented as numerical values or vectors overlaid on the images. From these observations and interaction history, the VLM generates commands specifying target end-effector positions and gripper opening or closing, which a low-level controller executes. In real-world cylindrical-peg insertion experiments, TacZero succeeded in 15 of 20 trials with numerical tactile input, compared with 10 of 20 without tactile input. This study provides a concrete starting point for further research on contact-rich manipulation using general-purpose VLMs and highlights challenges in pursuing this direction.
• Abstract（参考訳）: 言語指示や感覚観察から自律的に行動を決定するロボットは、タスク固有のトレーニングや手作業によるルールなしで、新たなコンタクトリッチな操作タスクを実行することができる。 これらのタスクを実行するには、ロボットはオブジェクトが互いにどのように接触するかを推測し、結果として動き、アクションを選択する必要がある。 接触推論と行動選択には、事前のアプローチでは、推定モデルと触覚フィードバック制御法を設計するか、または、触覚データから物体の動きの推定、行動アウトカム予測、行動選択の学習モデルを含む。 そこで本研究では,視覚や触覚の観察を事前に訓練した汎用視覚言語モデル(VLM)を用いて解釈し,触覚や操作の訓練やタスク固有のルールを伴わずにロボット行動を選択するタクゼロを提案する。 TacZeroはVLMにカメラ画像、ロボット状態、および3軸触覚応答を画像上にオーバーレイされた数値またはベクトルとして提供する。 これらの観測と相互作用履歴から、VLMは目標のエンドエフェクタの位置とグリップの開閉を指定するコマンドを生成し、低レベルのコントローラが実行する。 実世界の筒状ペグ挿入実験では、タクゼロは数値触覚入力で20の試験のうち15の試験に成功し、20の試験では触覚入力なしで10の試験に成功した。 本研究は、汎用VLMを用いたコンタクトリッチな操作のさらなる研究のための具体的な出発点を提供し、この方向を追求する上での課題を強調する。

関連論文リスト

• Tactile Curiosity Drives Robot Interaction [111.87914899158069]
  我々は触覚フィードバックが探究に自然なシグナルをもたらすと論じている。 私たちは、不確実性駆動探索にタッチを組み込んだフレームワークであるTacExを紹介します。
  論文  参考訳（メタデータ） (2026-09-30T16:49:40Z)
• ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation [30.004466515831634]
  ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。 これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。 ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-07-24T17:59:33Z)
• Tabero: Learning Gentle Manipulation with Closed-Loop Force Feedback from Vision, Touch, and Language [21.997523369157093]
  優雅で言語条件のロボット操作のためのベンチマークとモデルスイートであるTaberoを紹介した。 本稿では,分離された力配置命令インタフェースを持つアーキテクチャであるTabero-VTLAを提案する。 本モデルでは,緩やかな指示の下で平均グリップ力を70%以上削減しながら高いタスク成功率を維持している。
  論文  参考訳（メタデータ） (2026-05-27T03:08:21Z)
• Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization [14.189391793395384]
  本稿では,視覚,言語,行動,触覚を深く融合させる新しいフレームワークであるTactile-VLAを紹介する。 実験では、Tactile-VLAの有効性と一般化性を3つの重要な側面で示している。
  論文  参考訳（メタデータ） (2025-07-12T06:44:37Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。