論文の概要: $TF^2$-Steering: Action Refinement with Tactile Forecasts and Feedback via Velocity-Field Steering
- arxiv url: http://arxiv.org/abs/2611.01483v1
- Date: Sun, 01 Nov 2026 03:15:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 23:24:10.0356
- Title: $TF^2$-Steering: Action Refinement with Tactile Forecasts and Feedback via Velocity-Field Steering
- Title(参考訳): $TF^2$-ステアリング:速度場ステアリングによる触覚予測とフィードバックによるアクションリファインメント
- Abstract要約: TF2$-ステアリングは、フローマッチングアクションエキスパートの速度場の学習された残留ステアリングを介してアクションを洗練する。
$TF2$-Steeringは、触覚信号の修正を可能にし、必要に応じてフローマッチングアクション生成プロセスをリダイレクトする。
- 参考スコア(独自算出の注目度): 26.18519015371558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tactile sensing plays a crucial role in everyday human interaction. Consider inserting a plug into a tight socket, vision alone provides limited guidance during the final insertion stage, and we instead rely on both anticipated contact and realized tactile feedback to ajust the insertion motion. The same capability is equally important for robots, particularly in dexterous manipulation tasks. Yet many contemporary robot policies remain vision-dominant. This visual bias, compounded by limited tactile data and sparse contact events, can cause directly incorporated tactile signals to be ignored or even compromise the policy's pretrained capabilities, yielding degrading performance as observed in our experiments. We present $TF^2$-Steering, which refines actions via learned residual steering of the flow-matching action expert's velocity field, using a tactile mixture-of-experts architecture to integrate both tactile forecasts and real-time tactile feedback. Together with specific designed three stages training recipe, $TF^2$-Steering enables tactile signals to correct and, when necessary, redirect the flow-matching action-generation process, while building on the strong action-generation capacity of the vision-based foundation policy. Extensive experiments across six simulated and six real-world manipulation tasks demonstrate the effectiveness of $TF^2$-Steering. It outperforms the strongest evaluated baselines by 10.7 percentage points in average simulation success rate and 9.1 percentage points in average real-world progress success rate. Project page: https://yiming-cc.github.io/tf2-steering/.
- Abstract(参考訳): 触覚は日常の人間の相互作用において重要な役割を担っている。
プラグをタイトなソケットに挿入することを考えると、視覚だけで最終挿入段階では限られたガイダンスが得られ、その代わりに期待された接触と触覚フィードバックに頼って挿入動作を調整します。
同じ能力はロボット、特に巧妙な操作作業においても同様に重要である。
しかし、現代のロボット政策の多くは視覚に支配的なままである。
この視覚バイアスは、限られた触覚データと疎接触イベントによって合成され、直接組み込まれた触覚信号が無視されるか、あるいは事前訓練されたポリシーの能力を損なう可能性があり、我々の実験で観察された劣化性能をもたらす。
本稿では,フローマッチングアクションエキスパートの速度場を学習した残留ステアリングを用いて,触覚混合アーキテクチャを用いて,触覚予測とリアルタイム触覚フィードバックの両方を統合することで,動作を洗練するTF^2$-Steeringを提案する。
特定の設計された3段階のトレーニングレシピと合わせて、$TF^2$-Steeringは触覚信号の修正を可能にし、必要に応じてフローマッチングアクション生成プロセスをリダイレクトすると同時に、ビジョンベースのファンデーションポリシーの強力なアクション生成能力の上に構築する。
6つのシミュレーションと6つの実世界の操作タスクにわたる大規模な実験は、$TF^2$-ステアリングの有効性を示した。
平均的なシミュレーション成功率では10.7%、平均的な現実世界の進歩成功率では9.1ポイントで評価されたベースラインを上回っている。
プロジェクトページ: https://yiming-cc.github.io/tf2-steering/。
関連論文リスト
- GPT-6-Astra Understands Touch and Outperform Vision--Tactile--Language--Action Models [51.175201003559]
汎用マルチモーダルモデルは、直接的なロボットアクションポリシーとして約束されているが、それらが現実世界の相互作用の基礎となる物理を把握しているかどうかはまだ解明されていない。
本稿では,コンタクトリッチな操作を代表的テストベッドとして用い,触覚理解をこの幅広い能力の具体例として検討する。
本稿では, GPT-as-Tactile-Policyについて紹介する。
論文 参考訳(メタデータ) (2026-10-20T16:15:02Z) - Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning [47.82260577588391]
具体的タスクエージェントは,タスク固有のモデルトレーニングを使わずに,触覚体験を用いて微調整を行うことができるかを検討する。
本研究では,触覚体験を具体的タスクエージェントに組み込むシステムであるTactile-ETAを開発した。
論文 参考訳(メタデータ) (2026-10-20T04:27:15Z) - No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation? [8.585189650593378]
強化学習は、シミュレーションにおいて洗練されたブラインド操作ポリシーを生成することができる。
シャドウデキステラスハンドライト上でのバオディングボール回転によるこの問題について検討する。
物理的には、このポリシーは持続的なブラインドバオディング回転を達成し、$textbf225 連続する $mathbf180circ$ 回転を $sim0.36 ;textrot/s$ 単一の連続トライアルにおいて、視覚やオブジェクト状態の情報なしで達成する。
論文 参考訳(メタデータ) (2026-10-16T13:22:03Z) - FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity [59.92965577251167]
本稿では,ロボット基礎モデルであるFACTについて述べる。
ツールの使用,楽器,精密実験室の手順を含む,きめ細かい調整と力フィードバックを必要とする10のタスクでモデルを評価した。
論文 参考訳(メタデータ) (2026-10-13T20:21:52Z) - WorldLine: Action-Driven Visual Simulation for Robotic Manipulation [87.68211863253049]
実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。
異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。
WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを使ってそれらをグラウンドする。
論文 参考訳(メタデータ) (2026-09-29T17:26:22Z) - $N_0$-TWAM: Scaling Tactile-Native World-Action Model for Contact-Rich Manipulation [0.0]
我々は,将来の視覚と将来の接触の両方を予測する,接触リッチな操作のための触覚的世界行動モデルを提案する。
我々の知る限り、これは大規模に訓練された最初の触覚世界行動モデルであり、コンタクトリッチなタスクに強い能力を示す。
我々は、力に基づく統合された触覚表現であるNeoForceを使用して、アクション生成を条件とした物理的接点信号を形成する。
論文 参考訳(メタデータ) (2026-07-26T17:58:53Z) - Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
触覚のみのブラインドグリップのためのフレームワークを提案する。
本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。
第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。
第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
論文 参考訳(メタデータ) (2026-06-10T07:46:38Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳(メタデータ) (2026-03-19T17:52:42Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳(メタデータ) (2026-01-28T04:22:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。