論文の概要: NIFT: Neural Interaction Field and Template for Object Manipulation
- arxiv url: http://arxiv.org/abs/2210.10992v1
- Date: Thu, 20 Oct 2022 03:35:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 16:10:46.272397
- Title: NIFT: Neural Interaction Field and Template for Object Manipulation
- Title（参考訳）: nift: オブジェクト操作のための神経相互作用場とテンプレート
- Authors: Zeyu Huang, Juzhan Xu, Sisi Dai, Kai Xu, Hao Zhang, Hui Huang, Ruizhen
Hu
- Abstract要約: NIFTは模倣学習を促進するための記述的かつ堅牢な相互作用表現である。
NIFは、各空間点と与えられた対象との関係を符号化するニューラルネットワークである。
NITは、オブジェクトのポーズを最適化するために、新しいオブジェクトインスタンスのNIFにおける機能マッチングを効果的にガイドする。
- 参考スコア（独自算出の注目度）: 24.42098331719611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce NIFT, Neural Interaction Field and Template, a descriptive and
robust interaction representation of object manipulations to facilitate
imitation learning. Given a few object manipulation demos, NIFT guides the
generation of the interaction imitation for a new object instance by matching
the Neural Interaction Template (NIT) extracted from the demos to the Neural
Interaction Field (NIF) defined for the new object. Specifically, the NIF is a
neural field which encodes the relationship between each spatial point and a
given object, where the relative position is defined by a spherical distance
function rather than occupancies or signed distances, which are commonly
adopted by conventional neural fields but less informative. For a given demo
interaction, the corresponding NIT is defined by a set of spatial points
sampled in the NIF of the demo object with associated neural features. To
better capture the interaction, the points are sampled on the interaction
bisector surface, which consists of points that are equidistant to two
interacting objects and has been used extensively for interaction
representation. With both point selection and pointwise features defined for
better interaction encoding, NIT effectively guides the feature matching in the
NIFs of the new object instances to optimize the object poses to realize the
manipulation while imitating the demo interactions. Experiments show that our
NIFT solution outperforms state-of-the-art imitation learning methods for
object manipulation and generalizes better to objects from new categories.
- Abstract（参考訳）: 模倣学習を容易にするために,nift,neural interaction field and template,オブジェクト操作の記述的かつロバストなインタラクション表現を導入する。
いくつかのオブジェクト操作デモが与えられた後、niftは、デモから抽出されたneural interaction template(nit)と、新しいオブジェクトのために定義されたneural interaction field(nif)とのマッチングによって、新しいオブジェクトインスタンスのインタラクション模倣の生成をガイドする。
具体的には、nifは、各空間点と与えられた対象との関係を符号化する神経場であり、相対位置は、占有量や符号付き距離よりも球面距離関数によって定義される。
所定のデモインタラクションに対して、対応するNITは、デモオブジェクトのNIFでサンプリングされた空間点と関連する神経的特徴によって定義される。
相互作用をよりよく捉えるために、点を2つの相互作用対象に等しく相互作用表現に広く使われている点からなる相互作用双セクタ面にサンプリングする。
より良いインタラクションエンコーディングのために定義されたポイント選択とポイントワイズ機能の両方により、nitは新しいオブジェクトインスタンスのnifsで機能マッチングを効果的にガイドし、オブジェクトのポーズを最適化し、デモインタラクションを模倣しながら操作を実現する。
実験によると、niftソリューションはオブジェクト操作のための最先端の模倣学習手法よりも優れており、新しいカテゴリのオブジェクトに対してより一般化している。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。
このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。
本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
論文 参考訳（メタデータ） (2024-08-27T12:53:25Z) - ORMNet: Object-centric Relationship Modeling for Egocentric Hand-object Segmentation [14.765419467710812]
エゴセントリック・ハンドオブジェクト・セグメンテーション(EgoHOS)は、エゴセントリック・イメージにおける手とオブジェクトのセグメンテーションと相互作用を目的とした、有望な新しいタスクである。
本稿では,エンドツーエンドかつ効果的なEgoHOSを実現するために,ORMNet(Object-centric Relationship Modeling Network)を提案する。
論文 参考訳（メタデータ） (2024-07-08T03:17:10Z) - Mitigating Object Dependencies: Improving Point Cloud Self-Supervised Learning through Object Exchange [50.45953583802282]
我々は,ポイントクラウドシーン理解のための新たな自己教師型学習(SSL)戦略を導入する。
このアプローチでは、オブジェクトパターンとコンテキストキューの両方を活用して、堅牢な機能を生成します。
提案手法は既存のSSL技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-11T06:39:53Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-08-24T17:59:51Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2023-08-06T09:09:17Z) - Learning-based Relational Object Matching Across Views [63.63338392484501]
本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。
我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
論文 参考訳（メタデータ） (2023-05-03T19:36:51Z) - Neural Message Passing for Visual Relationship Detection [45.595505481091074]
視覚的関係検出のためのニューラルメッセージパッシング(NMP)アルゴリズムを提案する。
対話グラフによるオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシングスタイルのアルゴリズムを提案する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を実証した。
論文 参考訳（メタデータ） (2022-08-08T14:06:23Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-18T15:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。