論文の概要: STOW: Discrete-Frame Segmentation and Tracking of Unseen Objects for Warehouse Picking Robots

• arxiv url: http://arxiv.org/abs/2311.02337v1
• Date: Sat, 4 Nov 2023 06:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 18:07:32.399564
• Title: STOW: Discrete-Frame Segmentation and Tracking of Unseen Objects for Warehouse Picking Robots
• Title（参考訳）: STOW:倉庫ピッキングロボットの離散フレームセグメンテーションと未確認物体追跡
• Authors: Yi Li, Muru Zhang, Markus Grotz, Kaichun Mo, Dieter Fox
• Abstract要約: 本稿では,変圧器モジュールとともに離散フレームにおける関節分割と追跡のための新しいパラダイムを提案する。 実験の結果,本手法は近年の手法よりも著しく優れていることがわかった。
• 参考スコア（独自算出の注目度）: 41.017649190833076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Segmentation and tracking of unseen object instances in discrete frames pose a significant challenge in dynamic industrial robotic contexts, such as distribution warehouses. Here, robots must handle object rearrangement, including shifting, removal, and partial occlusion by new items, and track these items after substantial temporal gaps. The task is further complicated when robots encounter objects not learned in their training sets, which requires the ability to segment and track previously unseen items. Considering that continuous observation is often inaccessible in such settings, our task involves working with a discrete set of frames separated by indefinite periods during which substantial changes to the scene may occur. This task also translates to domestic robotic applications, such as rearrangement of objects on a table. To address these demanding challenges, we introduce new synthetic and real-world datasets that replicate these industrial and household scenarios. We also propose a novel paradigm for joint segmentation and tracking in discrete frames along with a transformer module that facilitates efficient inter-frame communication. The experiments we conduct show that our approach significantly outperforms recent methods. For additional results and videos, please visit \href{https://sites.google.com/view/stow-corl23}{website}. Code and dataset will be released.
• Abstract（参考訳）: 離散フレームにおける見えないオブジェクトインスタンスのセグメンテーションと追跡は、分散倉庫のような動的産業ロボットのコンテキストにおいて大きな課題となる。 ここでロボットは、新しいアイテムによる移動、除去、部分的閉塞を含むオブジェクトの再配置を処理し、時間的ギャップのかなりの後にこれらのアイテムを追跡する必要がある。 このタスクは、トレーニングセットで学習されていない物体にロボットが遭遇した場合、さらに複雑になる。 このような環境では、連続観察がしばしばアクセスできないことを考えると、我々のタスクは、シーンに実質的な変化が生じる可能性のある、不確定な期間で区切られた離散的なフレームの集合を扱うことである。 このタスクは、テーブル上のオブジェクトの並べ替えなど、国内のロボットアプリケーションにも変換される。 これらの要求に対処するために、これらの産業と家庭のシナリオを再現する新しい合成および実世界のデータセットを導入します。 また,効率の良いフレーム間通信を容易にするトランスフォーマーモジュールとともに,離散フレームにおけるジョイントセグメンテーションとトラッキングのための新しいパラダイムを提案する。 実験の結果,我々のアプローチは最近の手法を大きく上回っていることがわかった。 さらなる結果とビデオについては、 \href{https://sites.google.com/view/stow-corl23}{website} をご覧ください。 コードとデータセットがリリースされる。

関連論文リスト

• RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features [6.358423536732677]
  本稿では,ロボットインタラクションとデザインされたボディーフレーム不変機能を用いて,不正確なセグメンテーションを補正する新しい手法を提案する。 オブジェクト分割精度を平均80.7%とすることで、散らばったシーンを正確にセグメント化するための対話型知覚パイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-04T05:03:24Z)
• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)
• Tracking through Containers and Occluders in the Wild [32.86030395660071]
  重い閉塞と封じ込めによる視覚追跡のための新しいベンチマークとモデルである$textbfTCOW$を紹介した。 我々は、教師付き学習とモデル性能の構造化評価の両方をサポートするために、合成データセットと注釈付き実データセットの混合を作成する。 最近の2つのトランスフォーマーベースビデオモデルを評価し,タスク変動の特定の設定下でターゲットを驚くほど追跡できるが,トラッキングモデルが真のオブジェクト永続性(permanence)の概念を獲得したと主張するまでには,かなりの性能差が残っていることを発見した。
  論文  参考訳（メタデータ） (2023-05-04T17:59:58Z)
• Self-Supervised Unseen Object Instance Segmentation via Long-Term Robot Interaction [23.572104156617844]
  本研究では,オブジェクトとの長期的なインタラクションを活用することで,オブジェクトのインスタンス分割を現実の世界で改善するための新しいロボットシステムを提案する。 本システムは,ロボットのプッシュ動作の後,オブジェクトのセグメント化の決定に反する。 システムによって収集された実世界データを用いて合成データに基づいて訓練されたセグメンテーションネットワークを微調整することで,システムの有用性を実証する。
  論文  参考訳（メタデータ） (2023-02-07T23:11:29Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Semantically Grounded Object Matching for Robust Robotic Scene Rearrangement [21.736603698556042]
  そこで本研究では,大規模な事前学習型視覚言語モデルを用いて,オブジェクトをクロスインスタンス設定でマッチングするオブジェクトマッチング手法を提案する。 これにより、クロスインスタンス環境でのマッチング性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-11-15T18:39:43Z)
• RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks [53.15260967235835]
  本稿では,インスタンスマスクのグラフベース表現を利用して,そのような手法の出力を改良する新しいフレームワークを提案する。 我々は、セグメンテーションにスマートな摂動をサンプリングできるディープネットワークと、オブジェクト間の関係をエンコード可能なグラフニューラルネットワークを訓練し、セグメンテーションを評価する。 本稿では,本手法によって生成された不確実性推定を用いてマニピュレータを誘導し,乱れたシーンを効率的に理解するアプリケーションについて紹介する。
  論文  参考訳（メタデータ） (2021-06-29T20:29:29Z)
• TrackFormer: Multi-Object Tracking with Transformers [92.25832593088421]
  TrackFormerはエンコーダデコーダトランスフォーマーアーキテクチャに基づくエンドツーエンドのマルチオブジェクトトラッキングおよびセグメンテーションモデルです。 新しいトラッククエリはDETRオブジェクト検出器によって生成され、時間とともに対応するオブジェクトの位置を埋め込む。 trackformerは新しいトラッキング・バイ・アテンションパラダイムでフレーム間のシームレスなデータ関連付けを実現する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:29Z)
• Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
  本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。 これらのシンボルは、画像観察から直接学習し、予測できることが示される。 我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2020-06-08T18:07:18Z)
• Instance Segmentation of Visible and Occluded Regions for Finding and Picking Target from a Pile of Objects [25.836334764387498]
  本研究では,対象物体の発見・把握が可能な物体の山から対象物を選択するロボットシステムを提案する。 既存のインスタンスセグメンテーションモデルを新しいリルックアーキテクチャで拡張し、モデルがインスタンス間の関係を明示的に学習する。 また、画像合成により、人間のアノテーションを使わずに新しいオブジェクトを処理できるシステムを構築する。
  論文  参考訳（メタデータ） (2020-01-21T12:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。