論文の概要: NIFT: Neural Interaction Field and Template for Object Manipulation
- arxiv url: http://arxiv.org/abs/2210.10992v2
- Date: Fri, 21 Oct 2022 01:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 11:03:07.555956
- Title: NIFT: Neural Interaction Field and Template for Object Manipulation
- Title(参考訳): nift: オブジェクト操作のための神経相互作用場とテンプレート
- Authors: Zeyu Huang, Juzhan Xu, Sisi Dai, Kai Xu, Hao Zhang, Hui Huang, Ruizhen
Hu
- Abstract要約: NIFTは模倣学習を促進するための記述的かつ堅牢な相互作用表現である。
NIFは、各空間点と与えられた対象との関係を符号化するニューラルネットワークである。
NITは、オブジェクトのポーズを最適化するために、新しいオブジェクトインスタンスのNIFにおける機能マッチングを効果的にガイドする。
- 参考スコア(独自算出の注目度): 24.42098331719611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce NIFT, Neural Interaction Field and Template, a descriptive and
robust interaction representation of object manipulations to facilitate
imitation learning. Given a few object manipulation demos, NIFT guides the
generation of the interaction imitation for a new object instance by matching
the Neural Interaction Template (NIT) extracted from the demos to the Neural
Interaction Field (NIF) defined for the new object. Specifically, the NIF is a
neural field which encodes the relationship between each spatial point and a
given object, where the relative position is defined by a spherical distance
function rather than occupancies or signed distances, which are commonly
adopted by conventional neural fields but less informative. For a given demo
interaction, the corresponding NIT is defined by a set of spatial points
sampled in the NIF of the demo object with associated neural features. To
better capture the interaction, the points are sampled on the interaction
bisector surface, which consists of points that are equidistant to two
interacting objects and has been used extensively for interaction
representation. With both point selection and pointwise features defined for
better interaction encoding, NIT effectively guides the feature matching in the
NIFs of the new object instances to optimize the object poses to realize the
manipulation while imitating the demo interactions. Experiments show that our
NIFT solution outperforms state-of-the-art imitation learning methods for
object manipulation and generalizes better to objects from new categories.
- Abstract(参考訳): 模倣学習を容易にするために,nift,neural interaction field and template,オブジェクト操作の記述的かつロバストなインタラクション表現を導入する。
いくつかのオブジェクト操作デモが与えられた後、niftは、デモから抽出されたneural interaction template(nit)と、新しいオブジェクトのために定義されたneural interaction field(nif)とのマッチングによって、新しいオブジェクトインスタンスのインタラクション模倣の生成をガイドする。
具体的には、nifは、各空間点と与えられた対象との関係を符号化する神経場であり、相対位置は、占有量や符号付き距離よりも球面距離関数によって定義される。
所定のデモインタラクションに対して、対応するNITは、デモオブジェクトのNIFでサンプリングされた空間点と関連する神経的特徴によって定義される。
相互作用をよりよく捉えるために、点を2つの相互作用対象に等しく相互作用表現に広く使われている点からなる相互作用双セクタ面にサンプリングする。
より良いインタラクションエンコーディングのために定義されたポイント選択とポイントワイズ機能の両方により、nitは新しいオブジェクトインスタンスのnifsで機能マッチングを効果的にガイドし、オブジェクトのポーズを最適化し、デモインタラクションを模倣しながら操作を実現する。
実験によると、niftソリューションはオブジェクト操作のための最先端の模倣学習手法よりも優れており、新しいカテゴリのオブジェクトに対してより一般化している。
関連論文リスト
- ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-06T09:09:17Z) - Two-stream Multi-level Dynamic Point Transformer for Two-person
Interaction Recognition [65.87203087716263]
本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。
本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。
我々のネットワークは、すべての標準評価設定において最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-22T03:51:32Z) - Learning-based Relational Object Matching Across Views [63.63338392484501]
本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。
我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
論文 参考訳(メタデータ) (2023-05-03T19:36:51Z) - Local Neural Descriptor Fields: Locally Conditioned Object
Representations for Manipulation [10.684104348212742]
限られた数のデモンストレーションから得られたオブジェクト操作スキルを一般化する手法を提案する。
我々のアプローチであるLocal Neural Descriptor Fields (L-NDF) は、物体の局所幾何学に定義されたニューラル記述子を利用する。
シミュレーションと現実世界の両方において、新しいポーズで新しいオブジェクトを操作するためのアプローチの有効性について説明する。
論文 参考訳(メタデータ) (2023-02-07T16:37:19Z) - Neural Message Passing for Visual Relationship Detection [45.595505481091074]
視覚的関係検出のためのニューラルメッセージパッシング(NMP)アルゴリズムを提案する。
対話グラフによるオブジェクトとインタラクションを明示的にモデル化し,コンテキスト情報を伝達するメッセージパッシングスタイルのアルゴリズムを提案する。
2つのベンチマークデータセットの実験結果から,提案手法の優位性を実証した。
論文 参考訳(メタデータ) (2022-08-08T14:06:23Z) - Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。
形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
論文 参考訳(メタデータ) (2022-08-01T17:45:36Z) - Spatio-Temporal Interaction Graph Parsing Networks for Human-Object
Interaction Recognition [55.7731053128204]
ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。
実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。
外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
論文 参考訳(メタデータ) (2021-08-19T11:57:27Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳(メタデータ) (2020-07-14T09:29:03Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳(メタデータ) (2020-04-18T15:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。