論文の概要: FlowControl: Optical Flow Based Visual Servoing
- arxiv url: http://arxiv.org/abs/2007.00291v1
- Date: Wed, 1 Jul 2020 07:32:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 23:38:31.764167
- Title: FlowControl: Optical Flow Based Visual Servoing
- Title(参考訳): FlowControl:光フローに基づくビジュアルサーボ
- Authors: Max Argus and Lukas Hermann and Jon Long and Thomas Brox
- Abstract要約: ワンショット模倣(One-shot mimicion)とは、コンピュータコードの面倒な構築ではなく、単一のデモからロボットプログラミングのビジョンである。
本稿では,現代の学習に基づく光学的フローを利用して,操作タスクのワンショット模倣を実現する手法を提案する。
FlowControlと呼ばれる私たちのアプローチは、特定のフォアグラウンドマスクを使用して、興味のあるオブジェクトに出席するデモビデオを継続的に追跡します。
- 参考スコア(独自算出の注目度): 34.29983197032506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-shot imitation is the vision of robot programming from a single
demonstration, rather than by tedious construction of computer code. We present
a practical method for realizing one-shot imitation for manipulation tasks,
exploiting modern learning-based optical flow to perform real-time visual
servoing. Our approach, which we call FlowControl, continuously tracks a
demonstration video, using a specified foreground mask to attend to an object
of interest. Using RGB-D observations, FlowControl requires no 3D object
models, and is easy to set up. FlowControl inherits great robustness to visual
appearance from decades of work in optical flow. We exhibit FlowControl on a
range of problems, including ones requiring very precise motions, and ones
requiring the ability to generalize.
- Abstract(参考訳): ワンショット模倣(one-shot imitation)とは、コンピュータコードの退屈な構成ではなく、単一のデモンストレーションによるロボットプログラミングのビジョンである。
本稿では,リアルタイムな視覚サーボを行うために,現代の学習に基づく光学的フローを利用して,操作タスクのワンショット模倣を実現するための実践的手法を提案する。
FlowControlと呼ばれる私たちのアプローチは、特定のフォアグラウンドマスクを使用して、興味のあるオブジェクトに出席するデモビデオを継続的に追跡します。
RGB-D観測を使用して、FlowControlは3Dオブジェクトモデルを必要としないため、セットアップが容易である。
FlowControlは、光学フローにおける数十年の作業から視覚的な外観に非常に頑丈さを継承する。
我々は、非常に正確な動きを必要とするものや一般化する能力を必要とするものを含む、様々な問題に対してフロー制御を示す。
関連論文リスト
- Any-point Trajectory Modeling for Policy Learning [67.45990463611942]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳(メタデータ) (2023-12-28T23:34:43Z) - ControlNet-XS: Designing an Efficient and Effective Architecture for
Controlling Text-to-Image Diffusion Models [21.379896810560282]
一般的なアプローチは、Stable Diffusionのようなトレーニング済みの画像生成モデルと組み合わせて、ControlNetのような制御ネットワークを使用することである。
本研究では,制御ネットXSと呼ばれる新しい制御アーキテクチャを提案する。
ControlNetとは対照的に、私たちのモデルはパラメータのごく一部しか必要とせず、推論やトレーニング時間の約2倍の速度です。
論文 参考訳(メタデータ) (2023-12-11T17:58:06Z) - Follow Anything: Open-set detection, tracking, and following in
real-time [89.83421771766682]
我々は,物体をリアルタイムで検出,追跡,追跡するロボットシステムを提案する。
私たちのアプローチは、何でも従う"(FAn)と呼ばれ、オープンな語彙とマルチモーダルモデルです。
FAnは軽量(6~8GB)グラフィックカードでラップトップにデプロイでき、毎秒6~20フレームのスループットを実現する。
論文 参考訳(メタデータ) (2023-08-10T17:57:06Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳(メタデータ) (2023-04-14T14:03:35Z) - Masked Visual Pre-training for Motor Control [118.18189211080225]
実世界の画像からの自己教師付き視覚前訓練は、画素から運動制御タスクを学習するのに有効である。
私たちはビジュアルエンコーダを凍結し、強化学習でニューラルネットワークコントローラをトレーニングします。
これは、モーター制御のために現実の画像を大規模に活用した初めての自己教師型モデルである。
論文 参考訳(メタデータ) (2022-03-11T18:58:10Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - Neuromorphic Eye-in-Hand Visual Servoing [0.9949801888214528]
イベントカメラは、低レイテンシと広いダイナミックレンジで人間のような視覚機能を提供する。
本稿では,イベントカメラとスイッチング制御戦略を用いて,探索,到達,把握を行う視覚サーボ手法を提案する。
実験は、異なる形状の物体を追跡して把握する手法の有効性を、再学習を必要とせずに証明する。
論文 参考訳(メタデータ) (2020-04-15T23:57:54Z) - Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill
Primitives [89.34229413345541]
本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。
本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。
代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
論文 参考訳(メタデータ) (2020-03-19T15:04:37Z) - Aggressive Perception-Aware Navigation using Deep Optical Flow Dynamics
and PixelMPC [21.81438321320149]
我々は,光学フローとロボットダイナミクスを組み合わせた深部光学フロー(DOF)ダイナミクスを導入する。
DOFダイナミクスを用いて、MPCはロボットの計画軌跡に関連画素の予測運動を明示的に組み込む。
DOFの実装はメモリ効率が良く、データ効率が良く、計算コストも安いので、MPCフレームワークでリアルタイムに計算することができる。
論文 参考訳(メタデータ) (2020-01-07T22:33:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。