論文の概要: FlowControl: Optical Flow Based Visual Servoing

• arxiv url: http://arxiv.org/abs/2007.00291v1
• Date: Wed, 1 Jul 2020 07:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 23:38:31.764167
• Title: FlowControl: Optical Flow Based Visual Servoing
• Title（参考訳）: FlowControl:光フローに基づくビジュアルサーボ
• Authors: Max Argus and Lukas Hermann and Jon Long and Thomas Brox
• Abstract要約: ワンショット模倣(One-shot mimicion)とは、コンピュータコードの面倒な構築ではなく、単一のデモからロボットプログラミングのビジョンである。 本稿では,現代の学習に基づく光学的フローを利用して,操作タスクのワンショット模倣を実現する手法を提案する。 FlowControlと呼ばれる私たちのアプローチは、特定のフォアグラウンドマスクを使用して、興味のあるオブジェクトに出席するデモビデオを継続的に追跡します。
• 参考スコア（独自算出の注目度）: 34.29983197032506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot imitation is the vision of robot programming from a single demonstration, rather than by tedious construction of computer code. We present a practical method for realizing one-shot imitation for manipulation tasks, exploiting modern learning-based optical flow to perform real-time visual servoing. Our approach, which we call FlowControl, continuously tracks a demonstration video, using a specified foreground mask to attend to an object of interest. Using RGB-D observations, FlowControl requires no 3D object models, and is easy to set up. FlowControl inherits great robustness to visual appearance from decades of work in optical flow. We exhibit FlowControl on a range of problems, including ones requiring very precise motions, and ones requiring the ability to generalize.
• Abstract（参考訳）: ワンショット模倣(one-shot imitation)とは、コンピュータコードの退屈な構成ではなく、単一のデモンストレーションによるロボットプログラミングのビジョンである。 本稿では,リアルタイムな視覚サーボを行うために,現代の学習に基づく光学的フローを利用して,操作タスクのワンショット模倣を実現するための実践的手法を提案する。 FlowControlと呼ばれる私たちのアプローチは、特定のフォアグラウンドマスクを使用して、興味のあるオブジェクトに出席するデモビデオを継続的に追跡します。 RGB-D観測を使用して、FlowControlは3Dオブジェクトモデルを必要としないため、セットアップが容易である。 FlowControlは、光学フローにおける数十年の作業から視覚的な外観に非常に頑丈さを継承する。 我々は、非常に正確な動きを必要とするものや一般化する能力を必要とするものを含む、様々な問題に対してフロー制御を示す。

関連論文リスト

• MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent [58.09607975296408]
  テキスト誘導画像-映像生成のための微粒なモーション制御を実現するMotionAgentを提案する。 キーとなる技術は、テキストプロンプトの動作情報を明示的な運動場に変換するモーション・フィールド・エージェントである。 我々はVBenchのサブセットを構築し、テキストと生成されたビデオの動作情報のアライメントを評価する。
  論文  参考訳（メタデータ） (2025-02-05T14:26:07Z)
• OnlyFlow: Optical Flow based Motion Conditioning for Video Diffusion Models [46.74826882670651]
  本稿では,カメラの移動制御や映像編集などの様々な用途において,正確な制御を行うテキスト・ツー・ビデオ生成タスクの問題点について考察する。 入力ビデオから抽出した光フローを利用して生成ビデオの動作を条件付ける手法である OnlyFlow を提案する。
  論文  参考訳（メタデータ） (2024-11-15T11:19:25Z)
• Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction [14.866463843514156]
  Occ Flowは、カメラ入力のみを使用して、関節の3D占有率と占有率の予測を行う最初の自己教師型作業である。 我々のアプローチは、動的オブジェクトの依存関係をキャプチャするために、新しい注意に基づく時間融合モジュールを組み込んでいる。 本手法は3次元容積流れ場に微分可能レンダリングを拡張する。
  論文  参考訳（メタデータ） (2024-07-10T12:20:11Z)
• MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model [78.11258752076046]
  MOFA-Videoは、様々な制御可能な信号を用いて、所定の画像から映像を生成する高度な制御可能な画像アニメーション手法である。 ビデオ生成パイプラインの動作を制御するために,複数のドメイン対応モーションフィールドアダプタを設計する。 トレーニングの後、異なるドメインのMOFA-Adaptersは、より制御可能なビデオ生成のために協力することもできる。
  論文  参考訳（メタデータ） (2024-05-30T16:22:22Z)
• Follow Anything: Open-set detection, tracking, and following in real-time [89.83421771766682]
  我々は,物体をリアルタイムで検出,追跡,追跡するロボットシステムを提案する。 私たちのアプローチは、何でも従う"(FAn)と呼ばれ、オープンな語彙とマルチモーダルモデルです。 FAnは軽量(6～8GB)グラフィックカードでラップトップにデプロイでき、毎秒6～20フレームのスループットを実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:57:06Z)
• Masked Visual Pre-training for Motor Control [118.18189211080225]
  実世界の画像からの自己教師付き視覚前訓練は、画素から運動制御タスクを学習するのに有効である。 私たちはビジュアルエンコーダを凍結し、強化学習でニューラルネットワークコントローラをトレーニングします。 これは、モーター制御のために現実の画像を大規模に活用した初めての自己教師型モデルである。
  論文  参考訳（メタデータ） (2022-03-11T18:58:10Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Neuromorphic Eye-in-Hand Visual Servoing [0.9949801888214528]
  イベントカメラは、低レイテンシと広いダイナミックレンジで人間のような視覚機能を提供する。 本稿では,イベントカメラとスイッチング制御戦略を用いて,探索,到達,把握を行う視覚サーボ手法を提案する。 実験は、異なる形状の物体を追跡して把握する手法の有効性を、再学習を必要とせずに証明する。
  論文  参考訳（メタデータ） (2020-04-15T23:57:54Z)
• Aggressive Perception-Aware Navigation using Deep Optical Flow Dynamics and PixelMPC [21.81438321320149]
  我々は,光学フローとロボットダイナミクスを組み合わせた深部光学フロー(DOF)ダイナミクスを導入する。 DOFダイナミクスを用いて、MPCはロボットの計画軌跡に関連画素の予測運動を明示的に組み込む。 DOFの実装はメモリ効率が良く、データ効率が良く、計算コストも安いので、MPCフレームワークでリアルタイムに計算することができる。
  論文  参考訳（メタデータ） (2020-01-07T22:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。