論文の概要: Multi-Object Graph Affordance Network: Goal-Oriented Planning through Learned Compound Object Affordances
- arxiv url: http://arxiv.org/abs/2309.10426v3
- Date: Sat, 4 May 2024 13:58:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 00:55:03.383537
- Title: Multi-Object Graph Affordance Network: Goal-Oriented Planning through Learned Compound Object Affordances
- Title(参考訳): マルチオブジェクトグラフアフォーダンスネットワーク:学習された複合オブジェクトアフォーダンスによるゴール指向プランニング
- Authors: Tuba Girgin, Emre Ugur,
- Abstract要約: Multi-Object Graph Affordance Networkは、オブジェクトと化合物の相互作用を促進するロボットアクションの結果を学ぶことによって、複雑な複合オブジェクトの余裕をモデル化する。
シミュレーションと実環境の両方において,コンケーブ・コンベックス・オブジェクトを含む複合オブジェクトの可利用性をモデル化した。
- 参考スコア(独自算出の注目度): 1.9336815376402723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning object affordances is an effective tool in the field of robot learning. While the data-driven models investigate affordances of single or paired objects, there is a gap in the exploration of affordances of compound objects composed of an arbitrary number of objects. We propose the Multi-Object Graph Affordance Network which models complex compound object affordances by learning the outcomes of robot actions that facilitate interactions between an object and a compound. Given the depth images of the objects, the object features are extracted via convolution operations and encoded in the nodes of graph neural networks. Graph convolution operations are used to encode the state of the compounds, which are used as input to decoders to predict the outcome of the object-compound interactions. After learning the compound object affordances, given different tasks, the learned outcome predictors are used to plan sequences of stack actions that involve stacking objects on top of each other, inserting smaller objects into larger containers and passing through ring-like objects through poles. We showed that our system successfully modeled the affordances of compound objects that include concave and convex objects, in both simulated and real-world environments. We benchmarked our system with a baseline model to highlight its advantages.
- Abstract(参考訳): 学習対象の余裕は、ロボット学習の分野で有効なツールである。
データ駆動モデルは、単体またはペアオブジェクトの空き度を調査する一方で、任意の数のオブジェクトからなる複合オブジェクトの空き度を探索する際のギャップがある。
本稿では,複合物と複合物との相互作用を促進するロボット行動の結果を学習し,複合物割当をモデル化する多目的グラフ改善ネットワークを提案する。
オブジェクトの深さ画像から、オブジェクトの特徴を畳み込み操作によって抽出し、グラフニューラルネットワークのノードに符号化する。
グラフ畳み込み演算は化合物の状態のエンコードに使われ、これはデコーダの入力として使われ、オブジェクト・コモン相互作用の結果を予測する。
異なるタスクを与えられた複合オブジェクトの余裕を学習した後、学習した結果予測器は、積み重ねたオブジェクトを積み重ねるスタックアクションのシーケンスを計画し、小さなオブジェクトを大きなコンテナに挿入し、リングのようなオブジェクトをポールを通して通過させる。
シミュレーションと実環境の両方において,コンケーブ・コンベックス・オブジェクトを含む複合オブジェクトの可利用性をモデル化した。
当社のシステムをベースラインモデルでベンチマークして、その利点を強調しました。
関連論文リスト
- Interactive Learning of Physical Object Properties Through Robot Manipulation and Database of Object Measurements [20.301193437161867]
このフレームワークは、テーブル上のオブジェクトに関する学習を最大化する探索的なアクション選択を含む。
ロボットパイプラインは、ロギングモジュールとオブジェクトのオンラインデータベースと統合されており、グリッパーが異なる63のオブジェクトの24,000以上の計測結果を含んでいる。
論文 参考訳(メタデータ) (2024-04-10T20:59:59Z) - Multi-Scene Generalized Trajectory Global Graph Solver with Composite
Nodes for Multiple Object Tracking [61.69892497726235]
複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。
オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。
我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
論文 参考訳(メタデータ) (2023-12-14T14:00:30Z) - SceneScore: Learning a Cost Function for Object Arrangement [15.215659641228655]
「SceneScore」は、望ましい人間的なアレンジメントが低コストであるようなアレンジメントのコスト関数を学習する。
我々は,実例画像のみから,エネルギーモデルを用いてオフラインでトレーニングアレンジメントの分布を学習する。
実験により、学習したコスト関数は、欠落したオブジェクトのポーズを予測したり、セマンティックな特徴を使って新しいオブジェクトに一般化したり、推論時に制約を満たすために他のコスト関数で構成できることを示した。
論文 参考訳(メタデータ) (2023-11-14T20:55:40Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-06T09:09:17Z) - Object-agnostic Affordance Categorization via Unsupervised Learning of
Graph Embeddings [6.371828910727037]
オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。
オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。
アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
論文 参考訳(メタデータ) (2023-03-30T15:04:04Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳(メタデータ) (2022-04-05T09:25:28Z) - PartAfford: Part-level Affordance Discovery from 3D Objects [113.91774531972855]
パートレベルの空き地探索(PartAfford)の課題について紹介する。
対象物当たりの空きラベルのみを考慮し、(i)3D形状を部品に分解し、(ii)各部品が特定の空きカテゴリに対応する方法を検出する。
本稿では,パーセンテージ・セットの監督と幾何学的原始正規化のみを活用することで,パートレベルの表現を発見する新しい学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-28T02:58:36Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - O2O-Afford: Annotation-Free Large-Scale Object-Object Affordance
Learning [24.9242853417825]
本稿では,様々なタスクに対するオブジェクト・オブジェクトのインタラクションを学習するための,統一的なアベイランス学習フレームワークを提案する。
我々は、人間のアノテーションやデモンストレーションを必要とせずに、大規模なオブジェクト・オブジェクト・アベイランス・ラーニングを行うことができる。
大規模合成データと実世界のデータを用いた実験により,提案手法の有効性が証明された。
論文 参考訳(メタデータ) (2021-06-29T04:38:12Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳(メタデータ) (2020-08-14T09:11:18Z) - A Unified Object Motion and Affinity Model for Online Multi-Object
Tracking [127.5229859255719]
オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。
UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。
我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
論文 参考訳(メタデータ) (2020-03-25T09:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。