論文の概要: Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization

• arxiv url: http://arxiv.org/abs/2507.09160v1
• Date: Sat, 12 Jul 2025 06:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.567782
• Title: Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization
• Title（参考訳）: 触覚-VLA:視力-言語-行動モデルにおける触覚一般化のための物理知識の解き方
• Abstract要約: 本稿では,視覚,言語,行動,触覚を深く融合させる新しいフレームワークであるTactile-VLAを紹介する。 実験では、Tactile-VLAの有効性と一般化性を3つの重要な側面で示している。
• 参考スコア（独自算出の注目度）: 14.189391793395384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models have shown remarkable achievements, driven by the rich implicit knowledge of their vision-language components. However, achieving generalist robotic agents demands precise grounding into physical interactions, especially in contact-rich scenarios where fine-grained force control is essential. We advance VLAs' implicit knowledge beyond identifying what to do, towards guiding how to physically interact with real world. This paper introduces Tactile-VLA, a novel framework that deeply fuses vision, language, action, and tactile sensing. This framework incorporates a hybrid position-force controller to translate the model's intentions into precise physical actions and a reasoning module that allows the robot to adapt its strategy based on tactile feedback. Experiments demonstrate Tactile-VLA's effectiveness and generalizability in three key aspects: (1) enabling tactile-aware instruction following, (2) utilizing tactile-relevant commonsense, and (3) facilitating adaptive tactile-involved reasoning. A key finding is that the VLM's prior knowledge already contains semantic understanding of physical interaction; by connecting it to the robot's tactile sensors with only a few demonstrations, we can activate this prior knowledge to achieve zero-shot generalization in contact-rich tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルでは、視覚言語コンポーネントの豊富な暗黙的な知識によって、顕著な成果が示されている。 しかし、一般的なロボットエージェントを達成するためには、特にきめ細かい力制御が不可欠である接触に富んだシナリオにおいて、物理的な相互作用を正確に理解する必要がある。 VLAの暗黙の知識は、何をすべきかを識別することを超えて、現実世界と物理的に対話する方法を導き出す。 本稿では,視覚,言語,行動,触覚を深く融合させる新しいフレームワークであるTactile-VLAを紹介する。 このフレームワークは、モデルの意図を正確な物理的行動に変換するためのハイブリッドな位置力コントローラと、触覚フィードバックに基づいてロボットが戦略を適応できるようにする推論モジュールを備えている。 実験では,(1)触覚認識の指導を可能にすること,(2)触覚関連コモンセンスを活用すること,(3)適応的な触覚関連推論を容易にすること,の3つの重要な側面において,触覚-VLAの有効性と一般化性を示す。 重要な発見は、VLMの以前の知識は、既に物理的相互作用のセマンティックな理解を含んでおり、ロボットの触覚センサーにほんの数回のデモンストレーションで接続することで、この事前知識を活性化して、接触豊富なタスクにおいてゼロショットの一般化を達成できるということである。

関連論文リスト

• Learning Physical Interaction: A Survey of Tactile- and Force-aware Robot Learning [128.76135832773102]
  物理的に接地されたロボットインテリジェンスは、ロボットが物理的世界との相互作用を知覚し、推論し、規制することを要求する。 近年のロボット学習法は, 力, 触覚, 視覚, 言語, 触覚を学習操作ポリシーに組み込むことで, 大幅な進歩を遂げている。 これらの進歩にもかかわらず、既存の調査では、統一的な視点から、力と触覚を意識したロボット学習を明示的にレビューしていない。
  論文  参考訳（メタデータ） (2026-08-02T14:22:01Z)
• UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models [32.87879913150572]
  コンタクトリッチな操作のための統合された触覚学習フレームワークを提案する。 提案手法は,既存手法よりも成功率,操作精度,接触堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2026-06-30T14:24:00Z)
• TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
  データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。 まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。 そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:58:32Z)
• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• HapticVLA: Contact-Rich Manipulation via Vision-Language-Action Model without Inference-Time Tactile Sensing [1.5861606459586157]
  触覚を意識した操作はオフラインで学習でき、推論時に直接触覚フィードバックなしで展開できると我々は主張する。 本稿では,HapticVLAについて述べる。HapticVLAは,SA-RWFM (Safety-Aware Reward-Weighted Flow Matching) とTactile Distillation (TD) の2つの密結合段階で進行する。
  論文  参考訳（メタデータ） (2026-03-16T13:24:58Z)
• FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation [8.726448573057725]
  本稿では,力覚をコンタクトリッチな操作に統合する新しいフレームワークであるForce-Distilled VLAを提案する。 当社のアプローチのコアは、学習可能なクエリトークンをマッピングすることで、フォースを蒸留するFDM(Force Distillation Module)である。 推理中、この蒸留された力トークンは、予め訓練されたVLMに注入され、力を認識する推論が可能となる。
  論文  参考訳（メタデータ） (2026-02-02T14:19:46Z)
• UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
  そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。 UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する 高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
  論文  参考訳（メタデータ） (2026-02-01T11:03:01Z)
• TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation [14.094740703476903]
  本稿では,物理相互作用力の高次元触覚観測を基盤としたTaF-VLAについて紹介する。 TaF-VLAポリシは、最先端の触覚と視覚のみのベースラインを、コンタクトリッチなタスクで大幅に上回る。
  論文  参考訳（メタデータ） (2026-01-28T07:34:41Z)
• Learning to Feel the Future: DreamTacVLA for Contact-Rich Manipulation [14.221542785249524]
  本稿では,VLAモデルを接点物理学の基盤として,未来感を学習するフレームワークであるDreamTacVLAを紹介する。 我々のモデルは、高解像度の触覚画像がマイクロビジョン入力として機能する階層的認識方式を採用している。 より詳細な接触力学の理解を深めるために,将来的な触覚信号を予測する触覚世界モデルを用いてシステムを微調整する。
  論文  参考訳（メタデータ） (2025-12-29T21:06:33Z)
• Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities [19.45726946555448]
  触覚は視覚と言語に豊かで相補的な情報を提供し、ロボットはきめ細かい物体の性質を知覚することができる。 既存の手法では、触覚、言語、視覚のモダリティ間の中間的コミュニケーションを完全に統合することができない。 TLV-CoReは,CLIPをベースとした触覚・言語・視覚協調表現学習手法である。
  論文  参考訳（メタデータ） (2025-11-14T17:34:20Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation [52.6091162517921]
  INSIGHTは、エゴセントリックなアクション予測のための2段階のフレームワークである。 最初の段階では、INSIGHTは手動オブジェクトの相互作用領域から意味的にリッチな特徴を抽出することに焦点を当てている。 第2段階では、明示的な認知的推論をシミュレートする強化学習ベースのモジュールを導入する。
  論文  参考訳（メタデータ） (2025-08-03T12:52:27Z)
• VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback [21.08021535027628]
  VLA-Touchは、触覚センサを用いた汎用ロボットポリシーを強化するアプローチである。 提案手法では,(1)高レベルタスク計画のためのセマンティックな触覚フィードバックを提供する事前学習された触覚言語モデルを利用するパイプラインと,(2)コンタクトリッチな操作のための触覚信号を用いたVLA生成動作を洗練する拡散型コントローラの2つを導入している。
  論文  参考訳（メタデータ） (2025-07-23T07:54:10Z)
• Touch begins where vision ends: Generalizable policies for contact-rich manipulation [18.195865256382334]
  本稿では,微粒な操作タスクを解決するフレームワークであるVisuoTactile Local (ViTaL)ポリシー学習を紹介する。 ViTaLは、目に見えない環境でのコンタクトリッチなタスクで約90%の成功を達成している。
  論文  参考訳（メタデータ） (2025-06-16T17:59:48Z)
• Universal Visuo-Tactile Video Understanding for Embodied Interaction [16.587054862266168]
  本稿では,VTV-LLMについて紹介する。 VTV-LLMは触覚と自然言語のギャップを埋める。 本稿では,VTVによるビジュオ触覚表現の強化を含む新しい3段階トレーニングパラダイムを開発する。
  論文  参考訳（メタデータ） (2025-05-28T16:43:01Z)
• ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [54.28635581240747]
  VLA(Vision-Language-Action)モデルは、事前訓練された視覚表現と言語表現を活用することで、高度な汎用ロボット操作を実現する。 ForceVLAは、外力センシングをVLAシステム内の第一級のモダリティとして扱う。 提案手法は,器用な操作のためのマルチモーダル統合の重要性を強調し,身体知能ロボット制御のための新しいベンチマークを設定する。
  論文  参考訳（メタデータ） (2025-05-28T09:24:25Z)
• Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning [69.71072181304066]
  本稿では,擬似ヒューマノイドを用いた視覚駆動全身制御フレームワークであるPerceptive Dexterous Control (PDC)を紹介する。 PDCは、タスク仕様のためのエゴセントリックなビジョンのみを運用し、ビジュアルキューによるオブジェクト検索、ターゲット配置、スキル選択を可能にする。 強化学習によるスクラッチからのトレーニングは,能動探索などの創発的な行動を引き起こす可能性があることを示す。
  論文  参考訳（メタデータ） (2025-05-18T07:33:31Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• TLA: Tactile-Language-Action Model for Contact-Rich Manipulation [9.97307182748107]
  本稿では,触覚フィードバックの逐次処理をモーダル言語間接地により行う,触覚・言語・行動モデルを提案する。 指先ペグ・イン・ホール・アセンブリ用にカスタマイズされた24万組の触覚行動指示データを含む包括的データセットを構築した。 その結果,TLAは,効果的な行動生成と行動精度の観点から,従来の模倣学習法よりも優れていた。
  論文  参考訳（メタデータ） (2025-03-11T15:36:28Z)
• Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins [17.412763585521688]
  我々は、トランスフォーマーベースのポリシーを使用して、皮膚センサーデータを視覚情報とともに追加トークンとして扱うシンプルなアプローチであるVisuo-Skin(ViSk)フレームワークを提案する。 ViSkは、視力のみと光触覚に基づくポリシーの両方で著しく優れています。 さらに、触覚と視覚のモダリティを組み合わせることで、政策性能と空間的一般化が向上し、タスク全体で平均27.5%の改善が達成される。
  論文  参考訳（メタデータ） (2024-10-22T17:59:49Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning [60.91637862768949]
  強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。 M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。 視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
  論文  参考訳（メタデータ） (2023-11-02T01:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。