論文の概要: Text-driven Affordance Learning from Egocentric Vision

• arxiv url: http://arxiv.org/abs/2404.02523v1
• Date: Wed, 3 Apr 2024 07:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:10:13.073694
• Title: Text-driven Affordance Learning from Egocentric Vision
• Title（参考訳）: エゴセントリック・ビジョンによるテキスト駆動型アクダクタンス学習
• Authors: Tomoya Yoshida, Shuhei Kurita, Taichi Nishimura, Shinsuke Mori,
• Abstract要約: ロボットのためのテキスト駆動型アベイランス学習手法を提案する。 我々は,テキストの指示に従って,自我中心の視点から接触点を学習し,軌道を操作することを目的としている。 われわれのアプローチは、現実のシナリオにおける空き学習の新しい標準として、複数の空き時間を扱う。
• 参考スコア（独自算出の注目度）: 6.699930460835963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual affordance learning is a key component for robots to understand how to interact with objects. Conventional approaches in this field rely on pre-defined objects and actions, falling short of capturing diverse interactions in realworld scenarios. The key idea of our approach is employing textual instruction, targeting various affordances for a wide range of objects. This approach covers both hand-object and tool-object interactions. We introduce text-driven affordance learning, aiming to learn contact points and manipulation trajectories from an egocentric view following textual instruction. In our task, contact points are represented as heatmaps, and the manipulation trajectory as sequences of coordinates that incorporate both linear and rotational movements for various manipulations. However, when we gather data for this task, manual annotations of these diverse interactions are costly. To this end, we propose a pseudo dataset creation pipeline and build a large pseudo-training dataset: TextAFF80K, consisting of over 80K instances of the contact points, trajectories, images, and text tuples. We extend existing referring expression comprehension models for our task, and experimental results show that our approach robustly handles multiple affordances, serving as a new standard for affordance learning in real-world scenarios.
• Abstract（参考訳）: 視覚的な余裕学習は、ロボットがオブジェクトと対話する方法を理解するための重要な要素である。 この分野での従来のアプローチは、定義済みのオブジェクトとアクションに依存しており、現実世界のシナリオにおける多様な相互作用を捉えていない。 このアプローチの鍵となるアイデアは、幅広いオブジェクトに対してさまざまな余裕をターゲットとしたテキスト命令を使うことです。 このアプローチは、ハンドオブジェクトとツールオブジェクトの相互作用の両方をカバーする。 そこで本研究では,テキスト指導に追従した自我中心的な視点から,接触点の学習と軌跡の操作を目的としたテキスト駆動型アベイランス学習を提案する。 本課題では, 接触点を熱マップとして表現し, 操作軌跡を線形および回転運動の両方を含む座標列として表現する。 しかし、このタスクのデータを収集する場合、これらの多様なインタラクションのマニュアルアノテーションはコストがかかる。 この目的のために、擬似データセット作成パイプラインを提案し、巨大な擬似学習データセットであるTextAFF80Kを構築し、接触点、軌跡、画像、テキストタプルの80K以上のインスタンスで構成される。 本研究では,既存の参照表現理解モデルを拡張し,実世界のシナリオにおける空き学習の新たな標準として,複数の空き時間に頑健に対処できることを実験的に示す。

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Mitigating Object Dependencies: Improving Point Cloud Self-Supervised Learning through Object Exchange [50.45953583802282]
  我々は,ポイントクラウドシーン理解のための新たな自己教師型学習(SSL)戦略を導入する。 このアプローチでは、オブジェクトパターンとコンテキストキューの両方を活用して、堅牢な機能を生成します。 提案手法は既存のSSL技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-11T06:39:53Z)
• DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
  DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。 タスクを把握段階とテキストベースのインタラクション段階に分解する。 把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
  論文  参考訳（メタデータ） (2024-03-26T16:06:42Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• Object-agnostic Affordance Categorization via Unsupervised Learning of Graph Embeddings [6.371828910727037]
  オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。 オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。 アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
  論文  参考訳（メタデータ） (2023-03-30T15:04:04Z)
• Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
  可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。 シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。 私たちの学習モデルは、現実世界のデータにも転送します。
  論文  参考訳（メタデータ） (2021-01-07T18:56:38Z)
• COBE: Contextualized Object Embeddings from Narrated Instructional Video [52.73710465010274]
  そこで本稿では,教師ビデオの自動書き起こしからコンテキスト適応型オブジェクト埋め込みを学習するための新しいフレームワークを提案する。 言語の意味的・構成的構造を視覚的検知器を訓練し,オブジェクトとその関連するナレーションの文脈的単語埋め込みを予測する。 実験の結果,検出器は多種多様なコンテキストオブジェクト情報を予測し,少数ショットおよびゼロショット学習の設定において極めて有効であることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。