論文の概要: Learning with Object-centric Representations of Tactile Interactive Perception for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.33235v1
• Date: Sun, 27 Sep 2026 05:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:01:04.291284
• Title: Learning with Object-centric Representations of Tactile Interactive Perception for Robot Manipulation
• Title（参考訳）: ロボットマニピュレーションのための触覚対話型知覚のオブジェクト中心表現による学習
• Abstract要約: 触覚探索によりタスクに依存しないオブジェクト表現を学習するオブジェクト中心のコンテキスト認識操作フレームワークを提案する。 トークン学習者は、ロングホライゾン探索から代表触覚セグメントを自律的に選択する。 実験により、学習された表現は、見えていない物体に対して、93%と84%のプロパティ推定精度が得られることが示された。
• 参考スコア（独自算出の注目度）: 14.214117089160242
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Implicit object properties that are difficult to directly infer from vision, such as material, container contents, or softness, can be revealed through tactile sensing and exploratory interactions. However, because tactile signals are transient and sparse, extracting informative tactile events and effectively incorporating them into robotic manipulation remains a challenge. In this work, we present an object-centric context-aware manipulation framework that learns task-agnostic object representations through tactile exploration. A token learner autonomously selects representative tactile segments from long-horizon exploration, while contrastive alignment with descriptive text embeddings enables a latent space that captures multiple physical object properties. These learned representations are then used as semantic context to guide object-centric manipulation policies and adapt strategies based on object properties. Experiments show that the learned representations achieve 93% and 84% property estimation accuracy on seen and unseen objects. Evaluated on three tasks involving visually ambiguous objects, i.e. multi-object rearrangement, pouring, and box opening, the proposed framework improves both target selection and property-dependent manipulation adaptation, raising task success, aggregated over all evaluation trials, from 41% to 92% on seen objects and from 19% to 67% on unseen objects over baseline policies without object-context conditioning. Videos and additional results are available at https://xinyiyxyx.github.io/tactile-object-centric/.
• Abstract（参考訳）: 物質、容器の内容、柔らかさなどの視覚から直接推測することが難しい物体の性質は、触覚や探索的相互作用によって明らかになる。 しかし、触覚信号は過渡的でスパースであるため、情報的な触覚イベントを抽出し、ロボット操作に効果的に組み込むことは依然として課題である。 本研究では,触覚探索を通じてタスクに依存しないオブジェクト表現を学習する,オブジェクト中心のコンテキスト認識操作フレームワークを提案する。 トークン学習者は、長い水平探索から代表的触覚セグメントを自律的に選択する一方、記述的テキスト埋め込みとの対照的なアライメントは、複数の物理的オブジェクト特性をキャプチャする潜時空間を可能にする。 これらの学習された表現は、オブジェクト中心の操作ポリシーをガイドし、オブジェクトプロパティに基づいた戦略を適用するためのセマンティックコンテキストとして使用される。 実験により、学習した表現は、見えていない物体に対して、93%と84%のプロパティ推定精度が得られることが示された。 視覚的不明瞭な物体(多目的再配置, 注水, 箱開き)の3つのタスクから評価し, 対象の選択と特性に依存した操作適応の改善, タスク成功の促進, 全評価試験の41%から92%, オブジェクト・コンテクスト・コンテクスト・コンディショニングのないベースライン・ポリシー上の未確認物体の19%から67%に集約した。 ビデオと追加結果はhttps://xinyiyxyx.github.io/tactile-object-centric/で公開されている。

関連論文リスト

• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning [15.758583731036007]
  本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。 我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。 実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
  論文  参考訳（メタデータ） (2022-03-31T21:59:08Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• Object Pursuit: Building a Space of Objects via Discriminative Weight Generation [23.85039747700698]
  視覚学習と理解のためのオブジェクト中心表現を継続的に学習するフレームワークを提案する。 我々は、オブジェクト中心の表現を学習しながら、オブジェクトとそれに対応するトレーニング信号の多様なバリエーションをサンプリングするために、インタラクションを活用する。 提案するフレームワークの重要な特徴について広範な研究を行い,学習した表現の特徴を分析した。
  論文  参考訳（メタデータ） (2021-12-15T08:25:30Z)
• ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations [52.226947570070784]
  両課題に対処する100のオブジェクトからなるデータセットであるObjectを,2つの重要なイノベーションで紹介する。 まず、オブジェクトは視覚的、聴覚的、触覚的なすべてのオブジェクトの知覚データをエンコードし、多数の多感覚オブジェクト認識タスクを可能にする。 第2に、Objectは統一されたオブジェクト中心のシミュレーションと、各オブジェクトの視覚的テクスチャ、触覚的読み出し、触覚的読み出しに暗黙的な表現を採用しており、データセットの使用が柔軟で共有が容易である。
  論文  参考訳（メタデータ） (2021-09-16T14:00:59Z)
• VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects [19.296344218177534]
  3次元の明瞭な物体の空間は、その無数の意味圏、多様な形状幾何学、複雑な部分関数に非常に豊富である。 それまでの作業は, 関節パラメータを推定し, 3次元関節物体の視覚的表現として機能する, 抽象運動学的な構造が主流であった。 本研究では,物体中心の動作可能な視覚的先入観を,知覚システムが運動構造推定よりも動作可能なガイダンスを出力する,新しい知覚-相互作用ハンドシェイキングポイントとして提案する。
  論文  参考訳（メタデータ） (2021-06-28T07:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。