論文の概要: World-to-Wrist: Task-Conditioned Future Wrist Modeling for Fine-Grained Robot Manipulation
- arxiv url: http://arxiv.org/abs/2608.05369v1
- Date: Wed, 05 Aug 2026 19:48:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.663038
- Title: World-to-Wrist: Task-Conditioned Future Wrist Modeling for Fine-Grained Robot Manipulation
- Title（参考訳）: World-to-Wrist: 細粒度ロボットマニピュレーションのためのタスク・コンディションド・フューチャー・リスト・モデリング
- Abstract要約: W2-VLA(World-to-Wrist VLA)は,タスク条件付き未来の手首モデリングを用いたロボット操作のための視覚言語アクション(VLA)モデルである。
視覚言語モデルと手首予測器のインタフェースに基づいて、予測器は将来の手首潜在者を予測し、将来の行動予測のコンテキストに変換する。
LIBERO、RoboTwin 2.0、実世界の操作タスクの実験では、シングルアームとバイマニュアルの両方で、きめ細かな、接触に敏感な操作が改善された。
- 参考スコア（独自算出の注目度）: 28.66726935044993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models often treat main-view and wrist-view observations as parallel visual inputs, overlooking their distinct roles in robot manipulation. Fine-grained manipulation, however, benefits from anticipating how wrist-local interactions may evolve under the global task context. To address this limitation, we present World-to-Wrist VLA (W2-VLA), a VLA model for fine-grained robot manipulation with task-conditioned future wrist modeling. Given current multi-view observations and a task instruction, W2-VLA contextualizes a set of latent modeling tokens as a compact interface between the vision-language model and the wrist predictor. Conditioned on this interface and the observed wrist history, the predictor forecasts future wrist latents, which are transformed into future-aware context for action prediction. In addition, we introduce W2-CoT, a synthesis pipeline that produces structured annotations describing manipulation progress, physical transition cues, and wrist-local evidence. These annotations provide auxiliary supervision that shapes the task-conditioned latent interface. Experiments on LIBERO, RoboTwin 2.0, and real-world manipulation tasks demonstrate improved fine-grained and contact-sensitive manipulation across both single-arm and bimanual settings, while maintaining action-generation rates above 80 Hz.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、メインビューと手首ビューの観察を平行な視覚入力として扱い、ロボット操作におけるそれぞれの役割を見越す。
しかし、微細な操作は、グローバルなタスクコンテキストの下で、手首と手首の相互作用がどのように進化するかを予測することの恩恵を受ける。
この制限に対処するため,タスク条件付き将来の手首モデリングを用いたロボット操作のためのVLAモデルであるWorld-to-Wrist VLA(W2-VLA)を提案する。
W2-VLAは、現在の多視点観察とタスク命令を前提として、視覚言語モデルと手首予測器の間のコンパクトなインターフェースとして、潜在モデリングトークンのセットを文脈的に定義する。
このインタフェースと観測された手首履歴に基づいて、予測器は将来の手首潜伏者を予測する。
さらに,操作の進行,物理遷移の手がかり,手首局所的な証拠を記述した構造化アノテーションを生成する合成パイプラインW2-CoTを紹介する。
これらのアノテーションは、タスク条件付き潜在インターフェースを形作る補助的な監督を提供する。
LIBERO、RoboTwin 2.0、および実世界の操作タスクに関する実験では、80Hz以上のアクション生成速度を維持しながら、シングルアームとバイマニュアルの両方できめ細かな、接触に敏感な操作が改善された。
関連論文リスト
- TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks [22.702826122425268]
制御と予測の中間インタフェースとして視覚トラックを用いた世界モデルに基づくロボット意思決定フレームワークTrActを提案する。
TrActは3つのコンポーネントから構成される: ビジョン・ランゲージ・アクション・アンド・トラックモデル(VLAT)は、現在の観察と言語指導から候補行動と対応する視覚トラックを共同で予測し、トラック条件付き世界モデル(TWM)は、提案されたトラックで条件付けられた将来の視覚結果を予測する。
論文 参考訳（メタデータ） (2026-08-25T06:00:01Z) - EMPIRE: Explicit Manipulation Planning as a Learnable Intermediate Representation for Egocentric Hand-Motion Forecasting [75.76075128622837]
本稿では,エゴセントリックな手動予測のための中間表現として,明示的操作計画を導入した2段階のフレームワークを提案する。
モーションジェネレータは、凍結したプランナー表現に条件付けられた将来のバイマニュアルハンド動作を合成する。
本手法は,MPJPEが84.53mm,指相対誤差が38.97mmで,最先端の予測精度を実現する。
論文 参考訳（メタデータ） (2026-08-23T14:58:31Z) - TacWAM: Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction [15.274487606802124]
World Action Models (WAM) は将来の状態予測とロボットアクション生成を組み合わせるが、既存のアプローチは視覚的未来に大きく依存している。
本稿では、この課題に3つのステップで対処する、メカニック対応の触覚WAMであるTacWAMを紹介する。
筆者らは, 脆弱な把握, 表面接触, 動的手動操作を含む4つの実世界の接触リッチな操作タスクに対して, TacWAMを評価した。
論文 参考訳（メタデータ） (2026-07-30T15:47:01Z) - τ: Learning Touch-Augmented Vision-Language-Action Models from Future Visual Supervision [43.426795127841075]
本稿では,視覚の視覚的監視から触覚表現を学習するタッチ拡張型視覚・言語・アクション(VLA)フレームワークを提案する。
また、4つの代表的なコンタクトリッチな操作タスクにまたがって、同期視覚、プロプレセプション、および視覚ベースの触覚信号のデータセットであるTacAuraを紹介する。
論文 参考訳（メタデータ） (2026-07-27T14:25:15Z) - Native Video-Action Pretraining for Generalizable Robot Control [77.59831077077176]
LingBot-VA 2.0は、エンボディメントのためにゼロから構築されたビデオアクション基盤モデルである。
高周波推論の要求を満たすため,本モデルは疎いMOEバックボーンを用いる。
現実のデプロイメントは、堅牢な基盤モデルとしてLingBot-VA 2.0を検証する。
論文 参考訳（メタデータ） (2026-07-09T16:15:43Z) - Improving Vision-Language-Action Model Fine-Tuning with Structured Stage and Keyframe Supervision [17.146970845728813]
StaKeはVision-Language-Action(VLA)モデルのプラグイン補助監視フレームワークである。
手動のアノテーションなしで、デモグリップ状態から2つの補完信号を自動的に導き出す。
バイマニュアルシミュレーションとシングルアームのFranka実ロボットタスクの実験は、StaKeが一貫して成功率を改善することを示している。
論文 参考訳（メタデータ） (2026-06-25T09:38:11Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳（メタデータ） (2026-05-21T17:57:44Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳（メタデータ） (2026-05-11T17:59:56Z) - Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。
コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
論文 参考訳（メタデータ） (2021-03-18T15:12:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。