論文の概要: TTT in VLA Models: Exploring Training with Human Demonstrations
- arxiv url: http://arxiv.org/abs/2610.32094v1
- Date: Fri, 23 Oct 2026 02:55:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.329695
- Title: TTT in VLA Models: Exploring Training with Human Demonstrations
- Title(参考訳): TTT in VLA Models: Exploring Training with Human Demonstrations
- Abstract要約: テストタイムトレーニング(TTT)をInternVLA-A1とPi0.5に統合し,人間の実演を条件とした行動生成の研究を行う。
実験では、TTTとペアデータに現在の規模でトレーニングを加えることは、デモに基づいた一貫したターゲット選択には至らなかった。
デモがシングルフレームのキューに短縮されると、実際のロボットの実行は固定位置でのカップの好みを示した。
- 参考スコア(独自算出の注目度): 17.61701082808145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon robot tasks require retaining and using past information. We integrate Test-Time Training (TTT), which stores context in fast weights, into InternVLA-A1 and Pi0.5 to study action generation conditioned on human demonstrations through training on paired demonstrations and robot trajectories. We implement memory transfer between the two phases and truncated backpropagation, and examine training objectives, gradient coverage, and contrastive regularization across video, short-video, and single-frame cue tasks. In our experiments, adding TTT and training on paired data at the current scale did not lead to consistent target selection based on demonstrations. Under the tested settings, shorter sequences, full trajectory gradient connectivity, and contrastive regularization did not clearly improve responsiveness to demonstrations. When demonstrations were reduced to single-frame cues, real-robot execution still showed a preference for cups at fixed positions. We document the implementation, training configurations, and observations to support further inspection and replication.
- Abstract(参考訳): ロングホライズンロボットのタスクは過去の情報の保持と利用を必要とする。
InternVLA-A1 と Pi0.5 にテスト時間トレーニング(TTT)を統合することで,人間による実演に条件付けされた行動生成を,ペア化された実演とロボット軌道のトレーニングを通じて研究する。
我々は,2つの位相間のメモリ転送を実装し,学習目標,勾配範囲,ビデオ,ショートビデオ,シングルフレームキュータスク間のコントラスト正規化を検討した。
実験では,TTTとペアデータのトレーニングを現在の規模で行うことで,実演に基づく一貫した目標選択を導出できなかった。
テスト条件下では、短いシーケンス、完全な軌道勾配接続、および対照的な正規化は、デモに対する応答性を明確に改善しなかった。
デモがシングルフレームのキューに短縮されると、実際のロボットの実行は固定位置でのカップの好みを示した。
我々は、さらなる検査と複製をサポートするために、実装、トレーニング設定、観察を文書化します。
関連論文リスト
- TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning [54.70019148172847]
テスト時強化学習(Test-Time Reinforcement Learning)のパラダイムをビデオ言語データに活用することにより,事前学習されたモデルを明示的なラベルなしで,テスト時のビデオサンプルに適応させることができる。
ビデオアプローチのためのテスト時間適応(TTA-Vid)は、同時に動作する2つのコンポーネントを組み合わせる。
TTA-Vidは、様々なビデオ推論タスクで一貫した改善をもたらし、大規模データで訓練された最先端の手法より優れている。
論文 参考訳(メタデータ) (2026-04-01T09:52:57Z) - ESPADA: Execution Speedup via Semantics Aware Demonstration Data Downsampling for Imitation Learning [18.435889278351297]
ESPADAは3Dグリップ・オブジェクト関係を持つVLM-LLMパイプラインを使用して、デモをセグメント化するセマンティックなフレームワークである。
1つの注釈付きエピソードからフルデータセットにスケールするために、ESPADAはDynamic Time Warpingを通じてセグメントラベルを伝搬する。
ESPADAは成功率を維持しながら約2倍のスピードアップを実現し、人間のデモと効率的なロボット制御のギャップを狭める。
論文 参考訳(メタデータ) (2025-12-08T10:08:33Z) - NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training [6.030518150035875]
本稿では,脳波基礎モデルのための2段階アライメント戦略を提案する。
まず,ドメイン固有の自己教師型微調整パラダイムであるNeuroTTTを提案する。
第2に、未ラベルのテストサンプルの自己教師型テストタイムトレーニングを行う。
我々のアプローチは、大規模なEEG基盤モデルにおけるテストタイムトレーニングとドメインチューニングされたセルフスーパービジョンを統合する最初の方法です。
論文 参考訳(メタデータ) (2025-09-30T14:14:46Z) - Refining Pre-Trained Motion Models [56.18044168821188]
我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。
実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。
本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
論文 参考訳(メタデータ) (2024-01-01T18:59:33Z) - RoboTAP: Tracking Arbitrary Points for Few-Shot Visual Imitation [36.43143326197769]
Track-Any-Point (TAP) モデルは、デモ中の関連する動きを分離し、低レベルのコントローラをパラメータ化して、シーン構成の変化をまたいでこの動きを再現する。
この結果は,形状整合,積み重ね,さらには接着や物体の付着といった完全な経路追従といった複雑な物体配置タスクを解くことのできるロバストなロボットポリシーで示される。
論文 参考訳(メタデータ) (2023-08-30T11:57:04Z) - Test-Time Training on Video Streams [66.63237260332984]
以前の作業では、テスト時にトレーニングされたモデルをさらに改善するための一般的なフレームワークとして、テスト時間トレーニング(TTT)が確立されていた。
TTTをストリーミング設定に拡張し、複数のテストインスタンスが時間順に到着します。
オンラインTTTは、現実世界の3つのデータセット上で、4つのタスクで固定モデルベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-07-11T05:17:42Z) - Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。
4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
論文 参考訳(メタデータ) (2022-08-11T13:15:36Z) - A Closer Look at Temporal Sentence Grounding in Videos: Datasets and
Metrics [70.45937234489044]
2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。
基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。
すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
論文 参考訳(メタデータ) (2021-01-22T09:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。