Fugu-MT 論文翻訳(概要): A Deep Learning Approach to Object Affordance Segmentation

論文の概要: A Deep Learning Approach to Object Affordance Segmentation

arxiv url: http://arxiv.org/abs/2004.08644v1
Date: Sat, 18 Apr 2020 15:34:41 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 05:36:01.768196
Title: A Deep Learning Approach to Object Affordance Segmentation
Title（参考訳）: 物体収量セグメンテーションへの深層学習アプローチ
Authors: Spyridon Thermos, Petros Daras, Gerasimos Potamianos
Abstract要約: 我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
参考スコア（独自算出の注目度）: 31.221897360610114
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning to understand and infer object functionalities is an important step towards robust visual intelligence. Significant research efforts have recently focused on segmenting the object parts that enable specific types of human-object interaction, the so-called "object affordances". However, most works treat it as a static semantic segmentation problem, focusing solely on object appearance and relying on strong supervision and object detection. In this paper, we propose a novel approach that exploits the spatio-temporal nature of human-object interaction for affordance segmentation. In particular, we design an autoencoder that is trained using ground-truth labels of only the last frame of the sequence, and is able to infer pixel-wise affordance labels in both videos and static images. Our model surpasses the need for object labels and bounding boxes by using a soft-attention mechanism that enables the implicit localization of the interaction hotspot. For evaluation purposes, we introduce the SOR3D-AFF corpus, which consists of human-object interaction sequences and supports 9 types of affordances in terms of pixel-wise annotation, covering typical manipulations of tool-like objects. We show that our model achieves competitive results compared to strongly supervised methods on SOR3D-AFF, while being able to predict affordances for similar unseen objects in two affordance image-only datasets.
Abstract（参考訳）: オブジェクトの機能を理解して推測する学習は、堅牢なビジュアルインテリジェンスへの重要なステップである。重要な研究活動は、最近「オブジェクトアフォーアンス」と呼ばれる、特定のタイプのヒューマン・オブジェクトインタラクションを可能にするオブジェクト部品のセグメント化に重点を置いている。しかし、ほとんどの研究は静的なセマンティックセグメンテーションの問題として扱い、オブジェクトの外観にのみ焦点をあて、強力な監視とオブジェクト検出に依存している。本稿では,人間と物体の相互作用の時空間的性質を利用した新たなアプローチを提案する。特に,シーケンスの最後のフレームのみのグランドトラストラベルを用いてトレーニングを行い,ビデオと静的画像の両方において画素単位のアベイランスラベルを推測できるオートエンコーダを設計する。本モデルでは,インタラクションホットスポットの暗黙的ローカライズを可能にするソフトアテンション機構を用いて,オブジェクトラベルとバウンディングボックスの必要性を克服する。評価目的のために,人間とオブジェクトのインタラクションシーケンスで構成されたsor3d-affコーパスを導入し,ツールライクなオブジェクトの典型的な操作をカバーする,ピクセル単位でのアノテーションによる9種類のアフォーアンスをサポートする。本研究では,SOR3D-AFFの強い教師付き手法と比較して,画像のみの2つのデータセットにおいて,類似の未確認オブジェクトの可視性を予測できることを示す。

関連論文リスト

Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。同時に1つのステージで検出と相互作用の推論を行う。我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
論文参考訳（メタデータ） (2024-04-18T05:06:12Z)
ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文参考訳（メタデータ） (2023-08-24T17:59:51Z)
LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and Bootstrapped Self-training [13.985488693082981]
動作情報と外観情報を利用して高品質な物体分割マスクを生成する自己教師型物体発見手法を提案する。複数の標準ビデオオブジェクトセグメンテーション、画像のサリエンシ検出、オブジェクトセグメンテーションベンチマークにおいて、LOCATEと呼ばれるアプローチの有効性を実証する。
論文参考訳（メタデータ） (2023-08-22T07:27:09Z)
InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。提案手法は最先端の手法よりも優れている。
論文参考訳（メタデータ） (2023-08-06T09:09:17Z)
Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文参考訳（メタデータ） (2023-07-07T04:03:48Z)
SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。 OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文参考訳（メタデータ） (2022-04-10T23:27:19Z)
Bi-directional Object-context Prioritization Learning for Saliency Ranking [60.62461793691836]
既存のアプローチは、オブジェクトオブジェクトかオブジェクトシーンの関係を学ぶことに集中しています。我々は,人間の視覚認識システムにおいて,空間的注意と物体に基づく注意が同時に機能することが観察された。本稿では,空間的注意を統一する新たな双方向手法を提案する。
論文参考訳（メタデータ） (2022-03-17T16:16:03Z)
PartAfford: Part-level Affordance Discovery from 3D Objects [113.91774531972855]
パートレベルの空き地探索(PartAfford)の課題について紹介する。対象物当たりの空きラベルのみを考慮し、(i)3D形状を部品に分解し、(ii)各部品が特定の空きカテゴリに対応する方法を検出する。本稿では,パーセンテージ・セットの監督と幾何学的原始正規化のみを活用することで,パートレベルの表現を発見する新しい学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-02-28T02:58:36Z)
"What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文参考訳（メタデータ） (2020-11-06T10:55:28Z)
Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
論文参考訳（メタデータ） (2020-10-19T12:36:11Z)
DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
論文参考訳（メタデータ） (2020-08-16T22:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。