論文の概要: GelFlow: Self-supervised Learning of Optical Flow for Vision-Based
Tactile Sensor Displacement Measurement
- arxiv url: http://arxiv.org/abs/2309.06735v1
- Date: Wed, 13 Sep 2023 05:48:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 15:21:55.340537
- Title: GelFlow: Self-supervised Learning of Optical Flow for Vision-Based
Tactile Sensor Displacement Measurement
- Title（参考訳）: GelFlow:視覚に基づく触覚センサ変位計測のための光フローの自己教師型学習
- Authors: Zhiyuan Zhang, Hua Yang, and Zhouping Yin
- Abstract要約: 本研究では,視覚に基づく触覚センサの変位計測において,深層学習に基づく自己監督型光フロー法を提案する。
提案する自己教師型ネットワークを,オープンソースデータセットを用いて訓練し,従来型およびディープラーニングベースの光フロー手法と比較した。
- 参考スコア（独自算出の注目度）: 23.63445828014235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-resolution multi-modality information acquired by vision-based tactile
sensors can support more dexterous manipulations for robot fingers. Optical
flow is low-level information directly obtained by vision-based tactile
sensors, which can be transformed into other modalities like force, geometry
and depth. Current vision-tactile sensors employ optical flow methods from
OpenCV to estimate the deformation of markers in gels. However, these methods
need to be more precise for accurately measuring the displacement of markers
during large elastic deformation of the gel, as this can significantly impact
the accuracy of downstream tasks. This study proposes a self-supervised optical
flow method based on deep learning to achieve high accuracy in displacement
measurement for vision-based tactile sensors. The proposed method employs a
coarse-to-fine strategy to handle large deformations by constructing a
multi-scale feature pyramid from the input image. To better deal with the
elastic deformation caused by the gel, the Helmholtz velocity decomposition
constraint combined with the elastic deformation constraint are adopted to
address the distortion rate and area change rate, respectively. A local flow
fusion module is designed to smooth the optical flow, taking into account the
prior knowledge of the blurred effect of gel deformation. We trained the
proposed self-supervised network using an open-source dataset and compared it
with traditional and deep learning-based optical flow methods. The results show
that the proposed method achieved the highest displacement measurement
accuracy, thereby demonstrating its potential for enabling more precise
measurement of downstream tasks using vision-based tactile sensors.
- Abstract（参考訳）: 視覚ベースの触覚センサーが取得した高分解能なマルチモーダル情報は、ロボットの指をより巧妙に操作できる。
光の流れは視覚ベースの触覚センサーによって直接得られる低レベル情報であり、力、幾何学、深さなどの他のモードに変換することができる。
現在の視覚触覚センサは、ゲル中のマーカーの変形を推定するためにopencvからの光フロー法を用いる。
しかし, ゲルの大きな弾性変形時のマーカーの変位を高精度に測定するためには, 下流課題の精度に大きな影響を与える可能性がある。
本研究では,視覚に基づく触覚センサの変位計測において,深層学習に基づく自己監督型光フロー法を提案する。
提案手法は,入力画像から多元的特徴ピラミッドを構築し,大きな変形に対処するための粗粒度戦略を用いる。
ゲルが引き起こす弾性変形によく対処するため、変形速度と弾性変形制約を組み合わせたヘルムホルツ速度分解制約をそれぞれ適用し、歪み率と面積変化率に対処する。
局所フロー融合モジュールは、ゲル変形のぼやけた影響の以前の知識を考慮し、光学フローを滑らかにするために設計されている。
提案する自己教師付きネットワークをオープンソースデータセットを用いてトレーニングし,従来型およびディープラーニングベースの光フロー手法と比較した。
その結果,提案手法は最大変位測定精度を達成し,視覚に基づく触覚センサを用いて下流タスクをより正確に計測できる可能性を示した。
関連論文リスト
- Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Skin the sheep not only once: Reusing Various Depth Datasets to Drive
the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。
モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。
また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文 参考訳（メタデータ） (2023-10-03T06:56:07Z) - The secret role of undesired physical effects in accurate shape sensing
with eccentric FBGs [1.0805335573008565]
偏心ファイバブラッググレーティング(FBG)は安価でファブリケートな形状のセンサーであり、単純な設定でしばしば尋問される。
本稿では,これらの限界を克服し,正確な形状推定を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-28T09:07:08Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳（メタデータ） (2022-07-11T07:50:22Z) - Learning to Synthesize Volumetric Meshes from Vision-based Tactile
Imprints [26.118805500471066]
視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。
本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。
グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
論文 参考訳（メタデータ） (2022-03-29T00:24:10Z) - Visual-tactile sensing for Real-time liquid Volume Estimation in
Grasping [58.50342759993186]
変形性容器内の液体をリアルタイムに推定するためのビジュオ触覚モデルを提案する。
我々は、RGBカメラからの生の視覚入力と、特定の触覚センサーからの触覚手がかりの2つの感覚モードを融合する。
ロボットシステムは、推定モデルに基づいて、リアルタイムで適切に制御され、調整される。
論文 参考訳（メタデータ） (2022-02-23T13:38:31Z) - Sensor-Guided Optical Flow [53.295332513139925]
本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。
能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
論文 参考訳（メタデータ） (2021-09-30T17:59:57Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Movement Tracking by Optical Flow Assisted Inertial Navigation [18.67291804847956]
学習に基づく光フローモデルと従来の慣性ナビゲーションを組み合わせる方法を示す。
確率的深層学習のアイデアが測定更新の堅牢性にどのように役立つかを示す。
この実用性は、iPadが取得した現実世界のデータで実証されている。
論文 参考訳（メタデータ） (2020-06-24T16:36:13Z) - Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level
Optimization [59.9673626329892]
エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。
我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
論文 参考訳（メタデータ） (2020-02-26T22:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。