論文の概要: Self-Supervised Interactive Object Segmentation Through a
Singulation-and-Grasping Approach
- arxiv url: http://arxiv.org/abs/2207.09314v1
- Date: Tue, 19 Jul 2022 15:01:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 14:27:45.681039
- Title: Self-Supervised Interactive Object Segmentation Through a
Singulation-and-Grasping Approach
- Title（参考訳）: Singulation-and-Graspingによる自己監督型対話オブジェクトセグメンテーション
- Authors: Houjian Yu and Changhyun Choi
- Abstract要約: 本稿では,新しいオブジェクトと対話し,各オブジェクトのトレーニングラベルを収集するロボット学習手法を提案する。
Singulation-and-Grasping(SaG)ポリシは、エンドツーエンドの強化学習を通じてトレーニングされる。
本システムは,シミュレートされた散文シーンにおいて,70%の歌唱成功率を達成する。
- 参考スコア（独自算出の注目度）: 9.029861710944704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instance segmentation with unseen objects is a challenging problem in
unstructured environments. To solve this problem, we propose a robot learning
approach to actively interact with novel objects and collect each object's
training label for further fine-tuning to improve the segmentation model
performance, while avoiding the time-consuming process of manually labeling a
dataset. The Singulation-and-Grasping (SaG) policy is trained through
end-to-end reinforcement learning. Given a cluttered pile of objects, our
approach chooses pushing and grasping motions to break the clutter and conducts
object-agnostic grasping for which the SaG policy takes as input the visual
observations and imperfect segmentation. We decompose the problem into three
subtasks: (1) the object singulation subtask aims to separate the objects from
each other, which creates more space that alleviates the difficulty of (2) the
collision-free grasping subtask; (3) the mask generation subtask to obtain the
self-labeled ground truth masks by using an optical flow-based binary
classifier and motion cue post-processing for transfer learning. Our system
achieves 70% singulation success rate in simulated cluttered scenes. The
interactive segmentation of our system achieves 87.8%, 73.9%, and 69.3% average
precision for toy blocks, YCB objects in simulation and real-world novel
objects, respectively, which outperforms several baselines.
- Abstract（参考訳）: unseenオブジェクトを使ったインスタンスセグメンテーションは、非構造化環境では難しい問題である。
そこで本研究では,新しいオブジェクトと積極的に対話し,各オブジェクトのトレーニングラベルを収集し,さらに微調整することでセグメンテーションモデルの性能を向上させるロボット学習手法を提案する。
singulation-and-grasping(sag)ポリシーはエンドツーエンドの強化学習を通じて訓練される。
物体の粗い山が与えられた場合, 物体の破片を押下・把持する動作を選択し, 視覚的観察と不完全なセグメンテーションの入力として, SaG ポリシーが取る物体に依存しないグルーピングを行う。
課題を3つのサブタスクに分解する:(1) 対象の歌唱サブタスクは、オブジェクトを分離することを目的としており、(2) 衝突のない把持サブタスクの難しさを緩和する空間を創出する。(3) マスク生成サブタスクは、光フローベースのバイナリ分類器と転送学習のための運動後処理を用いて自己ラベルのグランド・真理マスクを得る。
本システムは,シミュレートされた散文シーンにおいて,70%の歌唱成功率を達成する。
本システムの対話的セグメンテーションは, 玩具ブロック, YCBオブジェクト, 実世界の新規オブジェクトの平均精度を87.8%, 73.9%, 69.3%で達成し, いくつかのベースラインを上回っている。
関連論文リスト
- Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-24T17:59:56Z) - Learning Spatial-Semantic Features for Robust Video Object Segmentation [108.045326229865]
空間意味的特徴と識別的オブジェクトクエリを備えたロバストなビデオオブジェクトセグメンテーションフレームワークを提案する。
提案手法は,複数のデータセットに対して新しい最先端性能を設定できることを示す。
論文 参考訳（メタデータ） (2024-07-10T15:36:00Z) - RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant
Features [6.358423536732677]
本稿では,ロボットインタラクションとデザインされたボディーフレーム不変機能を用いて,不正確なセグメンテーションを補正する新しい手法を提案する。
オブジェクト分割精度を平均80.7%とすることで、散らばったシーンを正確にセグメント化するための対話型知覚パイプラインの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-04T05:03:24Z) - AGILE: Approach-based Grasp Inference Learned from Element Decomposition [2.812395851874055]
人間は手動の位置情報を考慮して物体を把握できる。
本研究は、ロボットマニピュレータが物体を最も最適な方法で把握し、同じことを学べるようにする方法を提案する。
論文 参考訳（メタデータ） (2024-02-02T10:47:08Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳（メタデータ） (2023-06-07T17:57:45Z) - Weakly-Supervised Concealed Object Segmentation with SAM-based Pseudo
Labeling and Multi-scale Feature Grouping [40.07070188661184]
Wakly-Supervised Concealed Object (WSCOS) は、周囲の環境とうまく融合したオブジェクトを分割することを目的としている。
内在的な類似性のため、背景から隠された物体を区別することは困難である。
これら2つの課題に対処する新しいWSCOS手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T14:31:34Z) - FGAHOI: Fine-Grained Anchors for Human-Object Interaction Detection [4.534713782093219]
上記の問題を緩和するために、新しいエンドツーエンドトランスフォーマーベースフレームワーク(FGAHOI)を提案する。
FGAHOIは、マルチスケールサンプリング(MSS)、階層空間認識マージ(HSAM)、タスク認識マージ機構(TAM)の3つの専用コンポーネントから構成される。
論文 参考訳（メタデータ） (2023-01-08T03:53:50Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳（メタデータ） (2022-03-18T21:13:56Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z) - RICE: Refining Instance Masks in Cluttered Environments with Graph
Neural Networks [53.15260967235835]
本稿では,インスタンスマスクのグラフベース表現を利用して,そのような手法の出力を改良する新しいフレームワークを提案する。
我々は、セグメンテーションにスマートな摂動をサンプリングできるディープネットワークと、オブジェクト間の関係をエンコード可能なグラフニューラルネットワークを訓練し、セグメンテーションを評価する。
本稿では,本手法によって生成された不確実性推定を用いてマニピュレータを誘導し,乱れたシーンを効率的に理解するアプリケーションについて紹介する。
論文 参考訳（メタデータ） (2021-06-29T20:29:29Z) - Instance Segmentation of Visible and Occluded Regions for Finding and
Picking Target from a Pile of Objects [25.836334764387498]
本研究では,対象物体の発見・把握が可能な物体の山から対象物を選択するロボットシステムを提案する。
既存のインスタンスセグメンテーションモデルを新しいリルックアーキテクチャで拡張し、モデルがインスタンス間の関係を明示的に学習する。
また、画像合成により、人間のアノテーションを使わずに新しいオブジェクトを処理できるシステムを構築する。
論文 参考訳（メタデータ） (2020-01-21T12:28:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。