論文の概要: Affordance Blending Networks
- arxiv url: http://arxiv.org/abs/2404.15648v1
- Date: Wed, 24 Apr 2024 05:07:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 20:09:25.149443
- Title: Affordance Blending Networks
- Title(参考訳): Affordance Blending Networks
- Authors: Hakan Aktas, Yukie Nagai, Minoru Asada, Erhan Oztop, Emre Ugur,
- Abstract要約: 本稿では,オブジェクト,アクション,エフェクトを1つの潜在表現に統一するモデルを提案する。
実世界のケースでは,本モデルが直接模倣に利用できることを示す。
また,異なるロボットの動作を関連付けるために,クロス・エボディメント・トランスファーの基盤として,サプライズを提案する。
- 参考スコア(独自算出の注目度): 1.9922905420195371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Affordances, a concept rooted in ecological psychology and pioneered by James J. Gibson, have emerged as a fundamental framework for understanding the dynamic relationship between individuals and their environments. Expanding beyond traditional perceptual and cognitive paradigms, affordances represent the inherent effect and action possibilities that objects offer to the agents within a given context. As a theoretical lens, affordances bridge the gap between effect and action, providing a nuanced understanding of the connections between agents' actions on entities and the effect of these actions. In this study, we propose a model that unifies object, action and effect into a single latent representation in a common latent space that is shared between all affordances that we call the affordance space. Using this affordance space, our system is able to generate effect trajectories when action and object are given and is able to generate action trajectories when effect trajectories and objects are given. In the experiments, we showed that our model does not learn the behavior of each object but it learns the affordance relations shared by the objects that we call equivalences. In addition to simulated experiments, we showed that our model can be used for direct imitation in real world cases. We also propose affordances as a base for Cross Embodiment transfer to link the actions of different robots. Finally, we introduce selective loss as a solution that allows valid outputs to be generated for indeterministic model inputs.
- Abstract(参考訳): Affordancesは生態心理学に根ざし、James J. Gibsonによって開拓された概念であり、個人と環境の間の動的関係を理解するための基本的な枠組みとして登場した。
伝統的な知覚的および認知的パラダイムを超えて、余裕は、与えられたコンテキスト内のエージェントにオブジェクトが与える本質的な効果と行動の可能性を表す。
理論レンズとして、余剰は効果と作用の間のギャップを埋め、エージェントの実体に対する作用とこれらの作用の効果の間の関係を微妙に理解する。
本研究では, 対象, 行動, 効果を共通潜在空間内の1つの潜在表現に統一するモデルを提案する。
この余剰空間を利用することで,アクションやオブジェクトが与えられたときのエフェクトトラジェクトリを生成し,効果トラジェクトリやオブジェクトが与えられたときのアクショントラジェクトリを生成することができる。
実験では,本モデルでは各対象の振る舞いを学習せず,同値性と呼ぶ対象が共有する余剰関係を学習することを示した。
シミュレーション実験に加えて,実世界の事例において,本モデルが直接模倣に利用できることを示した。
また,異なるロボットの動作を関連付けるために,クロス・エボディメント・トランスファーの基盤として,サプライズを提案する。
最後に、決定論的モデル入力に対して有効な出力を生成するソリューションとして選択的損失を導入する。
関連論文リスト
- Grasp Transfer based on Self-Aligning Implicit Representations of Local
Surfaces [10.602143478315861]
本研究は,ロボットがこれまで遭遇した物体と形状の類似性を共有する新しい物体に,把握経験や実演を移す問題に対処する。
我々は、オブジェクトメッシュの小さなデータセットから暗黙の局所的な表面表現モデルを学ぶために、単一の専門家のグリーグデモを使用します。
推測時において、このモデルは、専門家の把握が示される表面と最も幾何学的に類似した表面を識別することにより、新しい物体に把握を伝達するために使用される。
論文 参考訳(メタデータ) (2023-08-15T14:33:17Z) - Fine-grained Affordance Annotation for Egocentric Hand-Object
Interaction Videos [27.90643693526274]
物価は、人間の運動能力と物体の物理的性質に基づく行動可能性に関する情報を提供する。
本稿では,これらの課題に対処するための効果的なアノテーション手法を提案する。
我々はEPIC-KITCHENSデータセットにこのスキームを適用して新しいアノテーションを提供し、アベイランス認識、ハンドオブジェクト相互作用ホットスポット予測、アベイランスのクロスドメイン評価などのタスクでアノテーションをテストする。
論文 参考訳(メタデータ) (2023-02-07T07:05:00Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳(メタデータ) (2022-10-22T18:39:33Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - Learning Affordance Grounding from Exocentric Images [79.64064711636975]
Affordance Groundingは、オブジェクト内のアクション可能性領域をグラウンド(すなわちローカライズ)するタスクである。
人間は様々な外心中心の相互作用を不変の自我中心の余裕に変換する能力を持っている。
本稿では,外心的視点,すなわち,外心的対象の相互作用と自我的対象のイメージが与えられた場合の空白化課題を提案する。
論文 参考訳(メタデータ) (2022-03-18T12:29:06Z) - Suspected Object Matters: Rethinking Model's Prediction for One-stage
Visual Grounding [93.82542533426766]
疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。
SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-10T06:41:07Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳(メタデータ) (2021-10-28T10:09:34Z) - Improving Object Permanence using Agent Actions and Reasoning [8.847502932609737]
既存のアプローチは、低レベルの知覚からオブジェクト永続性を学ぶ。
我々は、ロボットが実行された動作に関する知識を使用する場合、オブジェクトの永続性を改善することができると論じる。
論文 参考訳(メタデータ) (2021-10-01T07:09:49Z) - Object and Relation Centric Representations for Push Effect Prediction [18.990827725752496]
プッシュは、プレグレープ操作からシーンアレンジメントまでのタスクに使用される、非包括的操作スキルである。
本稿では,プッシュ動作の効果予測とパラメータ推定のためのグラフニューラルネットワークに基づくフレームワークを提案する。
本フレームワークは,異なる種類の接合体と異なる質量を有する物体を介して接続された異なる形状の多部オブジェクトを含む実環境と模擬環境の両方で検証される。
論文 参考訳(メタデータ) (2021-02-03T15:09:12Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2020-10-27T13:17:18Z) - Human and Machine Action Prediction Independent of Object Information [1.0806206850043696]
行動中に変化する物体間関係の役割について検討する。
我々は平均して、アクションの持続時間の64%以下で行動を予測する。
論文 参考訳(メタデータ) (2020-04-22T12:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。