論文の概要: Frame-Level Temporal Alignment for Human-to-Robot Visual Adaptation

• arxiv url: http://arxiv.org/abs/2610.04372v1
• Date: Sat, 03 Oct 2026 08:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:02:50.666694
• Title: Frame-Level Temporal Alignment for Human-to-Robot Visual Adaptation
• Title（参考訳）: 人間とロボットの視覚適応のためのフレームレベル時間アライメント
• Abstract要約: 人間のビデオで事前訓練された視覚表現をロボット操作に転送するには、人間とロボットのデモの間の信頼性の高い対応を学習する必要がある。 したがって、同じ相対タイムスタンプのフレームは異なるタスクステージを表す可能性があるため、対応学習が失敗する可能性がある。 ロボット操作のために,人間のビデオに予め訓練された視覚エンコーダを適応させるために,2つの時間的事前情報を用いたフレームレベル時間アライメント(A)を提案する。
• 参考スコア（独自算出の注目度）: 16.70254119678847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferring visual representations pretrained on human videos to robot manipulation requires learning reliable correspondences between human and robot demonstrations. However, paired demonstrations can differ in execution rate and in the proportion of non-key frames that do not directly reflect task progress. Frames at the same relative timestamp may therefore represent different task stages, which can cause correspondence learning to fail. To address these issues, we propose Frame-Level Temporal Alignment (FLTA), a framework that uses two temporal priors to adapt visual encoders pretrained on human videos for robot manipulation. It learns shared task-progress representations without frame-level correspondence annotations, allowing frames at different relative temporal positions to match. A global progress prior combines normalized temporal positions with visual similarity to construct a soft correspondence target. A local temporal order prior penalizes backward transitions while allowing stays and varying forward rates to accommodate execution-rate differences. With ResNet-50 and ViT encoders, our method achieves relative improvements of 46.93% and 65.96%, respectively, over the best baselines in average simulation success rates and achieves higher task success rates on real-world manipulation tasks. These results also suggest that effective human-robot adaptation depends less on the number of parameters updated than on which parameters are selected. Our project page is available at https://rtx5090ultra.github.io/FLTA-Project-Page/.
• Abstract（参考訳）: 人間のビデオで事前訓練された視覚表現をロボット操作に転送するには、人間とロボットのデモの間の信頼性の高い対応を学習する必要がある。 しかし、ペア化されたデモは実行率や、タスクの進捗を直接反映しない非キーフレームの割合が異なる可能性がある。 したがって、同じ相対タイムスタンプのフレームは異なるタスクステージを表す可能性があるため、対応学習が失敗する可能性がある。 これらの問題に対処するために、ロボット操作のために人間のビデオに事前訓練された視覚エンコーダを適応させるために、2つの時間的事前処理を利用するフレームワーク、Frame-Level Temporal Alignment (FLTA)を提案する。 フレームレベルの対応アノテーションなしで共有タスクプログレス表現を学習し、異なる相対時間位置のフレームが一致できるようにする。 グローバル進行前は、正規化された時間的位置と視覚的類似性を組み合わせることで、ソフト対応ターゲットを構築する。 局所的時間順序は、実行と実行の差に対応するために、スタントと様々なフォワードレートを許容しながら、後方遷移を罰する。 ResNet-50 と ViT エンコーダでは,シミュレーション成功率の平均値に対して 46.93% と 65.96% の相対的な改善を実現し,実世界の操作タスクにおけるタスク成功率の向上を実現している。 これらの結果から,有効なロボット適応は,どのパラメータが選択されたかよりも,更新されたパラメータの数に依存することが示唆された。 私たちのプロジェクトページはhttps://rtx5090ultra.github.io/FLTA-Project-Page/で公開されています。

関連論文リスト

• StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
  StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。 追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。 メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
  論文  参考訳（メタデータ） (2026-08-26T17:33:19Z)
• Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference [19.683948028719808]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力な一般化を示すが、その高い推論遅延はリアルタイムデプロイメントを制限する。 本稿では,知覚と行動生成の両面での計算量を削減するシステムレベル加速戦略を提案する。 Libero、RobotWin、Real Robot Platformsの実験では、ハイパフォーマンスを維持しながら、2倍以上のスピードアップを実証している。
  論文  参考訳（メタデータ） (2026-07-14T02:48:31Z)
• One-Shot Imitation under Mismatched Execution [7.060120660671016]
  人間のデモは、ロボットに長距離操作のタスクをプログラムするための強力な方法だ。 これらのデモをロボット実行可能なアクションに変換することは、運動スタイルや身体能力のミスマッチの実行による重大な課題を呈する。 シーケンスレベルの最適輸送コスト関数を用いて,人間とロボットの軌道を自動的にペアリングする新しいフレームワークRHyMEを提案する。
  論文  参考訳（メタデータ） (2024-09-10T16:11:57Z)
• Alignment-guided Temporal Attention for Video Action Recognition [18.5171795689609]
  フレームごとのアライメントは、フレーム表現間の相互情報を増大させる可能性があることを示す。 隣接フレーム間のパラメータフリーパッチレベルのアライメントで1次元の時間的注意を延長するためのアライメント誘導時間注意(ATA)を提案する。
  論文  参考訳（メタデータ） (2022-09-30T23:10:47Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Temporal-Relational CrossTransformers for Few-Shot Action Recognition [82.0033565755246]
  提案手法は,サポートセット内のクエリとビデオの間に時間的対応性のあるフレームを見出すことである。 先行研究とは別として,全サポートビデオの関連サブシーケンスを観察するために,クロストランスフォーマアテンション機構を用いたクラスプロトタイプを構築した。 詳細なアブレーションは、複数のサポートセットビデオとマッチングし、高階クロストランスフォーマーを学ぶことの重要性を示しています。
  論文  参考訳（メタデータ） (2021-01-15T15:47:35Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。