論文の概要: Object-agnostic Affordance Categorization via Unsupervised Learning of
Graph Embeddings
- arxiv url: http://arxiv.org/abs/2304.05989v1
- Date: Thu, 30 Mar 2023 15:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-16 22:17:38.551775
- Title: Object-agnostic Affordance Categorization via Unsupervised Learning of
Graph Embeddings
- Title(参考訳): グラフ埋め込みの教師なし学習によるオブジェクト非依存アフォーマンス分類
- Authors: Alexia Toumpa and Anthony G. Cohn
- Abstract要約: オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。
オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。
アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
- 参考スコア(独自算出の注目度): 6.371828910727037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Acquiring knowledge about object interactions and affordances can facilitate
scene understanding and human-robot collaboration tasks. As humans tend to use
objects in many different ways depending on the scene and the objects'
availability, learning object affordances in everyday-life scenarios is a
challenging task, particularly in the presence of an open set of interactions
and objects. We address the problem of affordance categorization for
class-agnostic objects with an open set of interactions; we achieve this by
learning similarities between object interactions in an unsupervised way and
thus inducing clusters of object affordances. A novel depth-informed
qualitative spatial representation is proposed for the construction of Activity
Graphs (AGs), which abstract from the continuous representation of
spatio-temporal interactions in RGB-D videos. These AGs are clustered to obtain
groups of objects with similar affordances. Our experiments in a real-world
scenario demonstrate that our method learns to create object affordance
clusters with a high V-measure even in cluttered scenes. The proposed approach
handles object occlusions by capturing effectively possible interactions and
without imposing any object or scene constraints.
- Abstract(参考訳): オブジェクトのインタラクションとアプライアンスに関する知識を得ることで、シーンの理解とヒューマン・ロボットのコラボレーションタスクが容易になる。
人間は、シーンやオブジェクトの可用性によって様々な方法でオブジェクトを使用する傾向があるため、日常シナリオにおける学習対象の余裕は、特にオープンな相互作用やオブジェクトの存在下では、難しい課題である。
オープンなインタラクションセットを持つクラス非依存オブジェクトのアフォーマンス分類の問題に対処し、教師なしの方法でオブジェクトインタラクション間の類似性を学習することにより、オブジェクトアフォーマンスの集合を誘導する。
rgb-dビデオにおける時空間相互作用の連続表現を抽象化したアクティビティグラフ(ags)の構築のために,新しい深さ非定性空間表現を提案する。
これらのagsはクラスター化され、同様のアフォーアンスを持つオブジェクト群を得る。
実世界のシナリオで行った実験では,乱雑なシーンでも高いv-measureでオブジェクトアプライアンスクラスタを作成することを学ぶことができた。
提案手法は,オブジェクトやシーンの制約を課すことなく,効果的に可能なインタラクションをキャプチャすることで,オブジェクトのオクルージョンを処理する。
関連論文リスト
- Chat-3D v2: Bridging 3D Scene and Large Language Models with Object
Identifiers [62.232809030044116]
会話中にオブジェクトを自由に参照するためにオブジェクト識別子を導入する。
本稿では,属性認識トークンと関係認識トークンを各オブジェクトに対して学習する2段階アライメント手法を提案する。
ScanQA、ScanRefer、Nr3D/Sr3Dといった従来のデータセットで行った実験は、提案手法の有効性を示した。
論文 参考訳(メタデータ) (2023-12-13T14:27:45Z) - Learning Environment-Aware Affordance for 3D Articulated Object
Manipulation under Occlusions [9.400505355134728]
本稿では,オブジェクトレベルの動作可能な事前条件と環境制約の両方を組み込んだ環境対応アベイランスフレームワークを提案する。
本稿では,1つのオクルーダーを含むシーンを学習し,複雑なオクルーダーの組み合わせでシーンに一般化できる新しいコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-14T08:24:32Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-06T09:09:17Z) - Learning-based Relational Object Matching Across Views [63.63338392484501]
本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。
我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
論文 参考訳(メタデータ) (2023-05-03T19:36:51Z) - Grounding 3D Object Affordance from 2D Interactions in Images [128.6316708679246]
接地した3Dオブジェクトは、3D空間内のオブジェクトの'アクション可能性'領域を見つけようとする。
人間は、実演画像やビデオを通じて、物理的世界の物体の余裕を知覚する能力を持っている。
我々は、異なるソースからのオブジェクトの領域的特徴を整合させる、インタラクション駆動の3D Affordance Grounding Network (IAG) を考案する。
論文 参考訳(メタデータ) (2023-03-18T15:37:35Z) - Discovering a Variety of Objects in Spatio-Temporal Human-Object
Interactions [45.92485321148352]
毎日のHOIでは、人間が掃除中に何十もの家庭用品を持って触れるなど、さまざまな物と対話することが多い。
51のインタラクションと1000以上のオブジェクトを含むDIO(Discoveringed Objects)。
ST-HOI学習タスクは、視覚システムが人間のアクターを追跡し、相互作用を検出し、同時に物体を発見することを期待するものである。
論文 参考訳(メタデータ) (2022-11-14T16:33:54Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳(メタデータ) (2022-04-10T23:27:19Z) - Bi-directional Object-context Prioritization Learning for Saliency
Ranking [60.62461793691836]
既存のアプローチは、オブジェクトオブジェクトかオブジェクトシーンの関係を学ぶことに集中しています。
我々は,人間の視覚認識システムにおいて,空間的注意と物体に基づく注意が同時に機能することが観察された。
本稿では,空間的注意を統一する新たな双方向手法を提案する。
論文 参考訳(メタデータ) (2022-03-17T16:16:03Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - The IKEA ASM Dataset: Understanding People Assembling Furniture through
Actions, Objects and Pose [108.21037046507483]
IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。
我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。
このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
論文 参考訳(メタデータ) (2020-07-01T11:34:46Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳(メタデータ) (2020-04-18T15:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。