論文の概要: Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
- arxiv url: http://arxiv.org/abs/2609.27780v1
- Date: Tue, 18 Aug 2026 01:20:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.966491
- Title: Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
- Title(参考訳): 視覚言語ロボット操作におけるFew-Shot一般化のためのタスクプロトタイプ型ガイドフローマッチング
- Abstract要約: 本稿では,数発の操作フレームワークであるTask-Prototype Guided Flow Matching (TP-Flow)を提案する。
TP-Flowは、位相レベルのプロトタイプを抽出するために、学習可能なクエリと対称なクロスアテンションを使用する。
LEROBOT-ARM-SO101プラットフォームでは、TP-Flowは66.8%、79.6%、成功率82.1%を1-、4-、6-shot設定で達成している。
- 参考スコア(独自算出の注目度): 5.696486983224005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language robot manipulation policies can follow semantic instructions, but adapting them to a new procedure from only a few demonstrations remains difficult because language underspecifies contact timing, motion phases, corrective behavior, and execution style. This paper presents Task-Prototype Guided Flow Matching (TP-Flow), a few-shot manipulation framework that converts support demonstrations into structured task-prototype tokens and uses them to guide both the initial flow prior and the velocity field. TP-Flow employs symmetric cross-attention with learnable queries to extract phase-level prototypes, parameterizes a task-adaptive initial distribution, and injects prototype information through gated adaptive normalization. It is trained with an episodic support-query objective and prototype contrastive regularization, so few-shot adaptation is simulated during training while nuisance information is suppressed. On the LEROBOT-ARM-SO101 platform, TP-Flow achieves 66.8\%, 79.6\%, and 82.1\% success rates under 1-, 4-, and 6-shot settings, with a 75.5\% few-shot AUC. At 1-shot, it improves over CFM, Pooled-Demo CFM, and In-Context Flow by 29.8, 14.5, and 9.9 percentage points. It also improves held-out target-group generalization across novel-object transfer, goal recombination, long-horizon composition, and contact/correction tasks. TP-Flow maintains real-time execution with six online prototype tokens, 54.3 ms latency, 3.9 GB peak memory, and a 10 Hz control rate, while reducing the noisy-support success drop to 6.2\%. Theoretical diagnostics show that prototype distance aligns with action-distribution distance, the adaptive prior reduces transport cost, and gated modulation keeps measured trajectory deviations below the derived ODE bound. The code repository is omitted for anonymous review.
- Abstract(参考訳): 視覚言語ロボット操作ポリシーはセマンティックな指示に従うことができるが、言語が接触タイミング、動作フェーズ、修正動作、実行スタイルを過小評価しているため、いくつかのデモから新しい手順に適応することは難しい。
本稿では,サポートデモを構造化されたタスクプロトタイプトークンに変換し,初期フローと速度場の両方をガイドする,数発の操作フレームワークであるTask-Prototype Guided Flow Matching(TP-Flow)を提案する。
TP-Flowは、学習可能なクエリと対称的クロスアテンションを使用して、フェーズレベルのプロトタイプを抽出し、タスク適応型初期分布をパラメータ化し、ゲート適応正規化を通じてプロトタイプ情報を注入する。
エピソードなサポートクエリ目的とプロトタイプのコントラスト正規化でトレーニングされるため、ニュアンス情報を抑えながらトレーニング中に少数ショット適応をシミュレートする。
LEROBOT-ARM-SO101 プラットフォームでは、TP-Flow は 66.8\%、79.6\%、82.1\% を 1-, 4-, 6-shot で達成している。
1ショットで、CFM、Pooled-Demo CFM、In-Context Flowを29.8、14.5、9.9%改善する。
また、新規オブジェクト転送、ゴール組換え、ロングホライゾン合成、コンタクト/コレクションタスクをまたいだホールドアウトターゲットグループ一般化を改善している。
TP-Flowは6つのオンラインプロトタイプトークン、54.3ミリ秒のレイテンシ、3.9GBのピークメモリ、10Hzの制御レートでリアルタイム実行を維持し、ノイズ対応の成功率を6.2\%に下げている。
理論的な診断では, 試作機の距離は作用分布距離と一致し, 適応前処理は輸送コストを低減し, ゲート変調は導出したODE境界以下で測定された軌道偏差を保っている。
コードリポジトリは匿名レビューのために省略されている。
関連論文リスト
- LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳(メタデータ) (2026-08-26T13:05:29Z) - DEFLECT: Delay-Robust Execution via Flow-matching Likelihood-Estimated Counterfactual Tuning for VLA Policies [12.248643831532663]
DEFLECTは、非同期VLA制御の使用可能な遅延エンベロープを大幅に拡張し、高遅延状態(5-7制御ステップ)で+6.4の成功率を、最も長い遅延時間で実スケールVLAに移行すると+4.6とした。
論文 参考訳(メタデータ) (2026-05-19T03:14:11Z) - SignalClaw: LLM-Guided Evolutionary Synthesis of Interpretable Traffic Signal Control Skills [8.299375016847524]
交通信号制御TSCは、展開に効果的かつ解釈可能な戦略を必要とする。
本稿では,大規模言語モデルを進化的スキルジェネレータとして利用するフレームワークであるSIGNALCLAWを紹介する。
それぞれのスキルには、合理性、選択指導、実行可能なコードが含まれており、ポリシーを人間の検査可能、自己文書化します。
論文 参考訳(メタデータ) (2026-04-07T07:35:45Z) - ProbeFlow: Training-Free Adaptive Flow Matching for Vision-Language-Action Models [12.232846303286161]
近年,フローマッチング (FM) アクションヘッドを搭載したビジョン・ランゲージ・アクション (VLA) モデルは,複雑なロボット操作において最先端の性能を実現する。
現在の加速はビジョン・ランゲージ・モデル(VLM)のバックボーンを最適化しているが、アクションヘッドのボトルネックは見落としている。
本稿では,継続的ロボット制御のためのトレーニング不要適応推論フレームワークProbeFlowを提案する。
論文 参考訳(メタデータ) (2026-03-18T15:38:29Z) - FlowConsist: Make Your Flow Consistent with Real Trajectory [99.22869983378062]
現在の高速フロートレーニングパラダイムには,2つの根本的な問題がある,と我々は主張する。
ランダムにペアリングされたノイズデータサンプルから構築された条件付き速度は、系統的な軌跡ドリフトを導入する。
本研究では,高速フローにおける軌道整合性を実現するためのトレーニングフレームワークであるFlowConsistを提案する。
論文 参考訳(メタデータ) (2026-02-06T03:24:23Z) - FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。
非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。
条件設定では、太陽予測において優れた性能を達成している。
論文 参考訳(メタデータ) (2024-11-12T03:03:23Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳(メタデータ) (2024-04-02T05:34:33Z) - FastEmit: Low-latency Streaming ASR with Sequence-level Emission
Regularization [78.46088089185156]
ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。
既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。
本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
論文 参考訳(メタデータ) (2020-10-21T17:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。