論文の概要: InterACT: Inter-dependency Aware Action Chunking with Hierarchical Attention Transformers for Bimanual Manipulation

• arxiv url: http://arxiv.org/abs/2409.07914v3
• Date: Wed, 16 Oct 2024 08:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 21:31:36.241996
• Title: InterACT: Inter-dependency Aware Action Chunking with Hierarchical Attention Transformers for Bimanual Manipulation
• Title（参考訳）: InterACT:双方向マニピュレーションのための階層型アテンショントランスを用いた相互依存型アクションチャンキング
• Authors: Andrew Lee, Ian Chuang, Ling-Yuan Chen, Iman Soltani,
• Abstract要約: 階層型注意変換器を用いた相互依存認識型アクションチャンキング(InterACT: Inter-Dependency aware Action Chunking)を紹介する。 InterACTは、バイマニュアル操作に特化して設計された新しい模倣学習フレームワークである。 シミュレーションおよび実世界の実世界のバイマニュアル操作タスクで行った実験は、InterACTが既存の手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 1.4835219023165949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bimanual manipulation presents unique challenges compared to unimanual tasks due to the complexity of coordinating two robotic arms. In this paper, we introduce InterACT: Inter-dependency aware Action Chunking with Hierarchical Attention Transformers, a novel imitation learning framework designed specifically for bimanual manipulation. InterACT leverages hierarchical attention mechanisms to effectively capture inter-dependencies between dual-arm joint states and visual inputs. The framework comprises a Hierarchical Attention Encoder, which processes multi-modal inputs through segment-wise and cross-segment attention mechanisms, and a Multi-arm Decoder that generates each arm's action predictions in parallel, while sharing information between the arms through synchronization blocks by providing the other arm's intermediate output as context. Our experiments, conducted on various simulated and real-world bimanual manipulation tasks, demonstrate that InterACT outperforms existing methods. Detailed ablation studies further validate the significance of key components, including the impact of CLS tokens, cross-segment encoders, and synchronization blocks on task performance. We provide supplementary materials and videos on our project page.
• Abstract（参考訳）: 双対操作は、2つのロボットアームの調整が複雑になるため、一対のタスクよりも独特な課題を呈する。 本稿では,相互操作に特化した新しい模倣学習フレームワークであるInterACT: Inter-dependency aware Action Chunking with Hierarchical Attention Transformersを紹介する。 InterACTは階層的な注意機構を利用して、両腕関節状態と視覚入力の間の依存性を効果的に捉える。 本発明のフレームワークは、セグメントワイド及びクロスセグメントアテンション機構を介してマルチモーダル入力を処理する階層型アテンションエンコーダと、他のアームの中間出力をコンテキストとして、同期ブロックを介してアーム間で情報を共有しながら、各アームの動作予測を並列に生成するマルチアームデコーダとを備える。 シミュレーションおよび実世界の実世界のバイマニュアル操作タスクで行った実験は、InterACTが既存の手法より優れていることを示した。 詳細なアブレーション研究は、CLSトークン、クロスセグメントエンコーダ、同期ブロックがタスクパフォーマンスに与える影響など、重要なコンポーネントの重要性をさらに検証している。 プロジェクトページで補足資料とビデオを提供しています。

関連論文リスト

• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
  本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-20T06:21:56Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection [0.0]
  本稿では、シーングラフを利用して、動きパターンとコンテキストを同時に処理しながら、画像シーケンスから重要な相互作用特徴を抽出する。 イベントベースの自動ビデオセグメンテーションとクラスタリングを導入し、同様のイベントをグループ化して、監視されたアクティビティが正しく実行されるかどうかを検出する。
  論文  参考訳（メタデータ） (2023-04-19T16:15:23Z)
• Object Discovery from Motion-Guided Tokens [50.988525184497334]
  自動エンコーダ表現学習フレームワークを、モーションガイダンスと中間レベルの特徴トークン化により強化する。 我々のアプローチは、解釈可能なオブジェクト固有の中間レベルの特徴の出現を可能にする。
  論文  参考訳（メタデータ） (2023-03-27T19:14:00Z)
• CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action Spaces [9.578169216444813]
  本稿では,異なるエージェント間で共有される学習された潜在行動空間を通じて,マルチロボット操作を協調する手法を提案する。 シミュレーションされたマルチロボット操作タスクにおいて本手法を検証し,サンプル効率と学習性能の観点から,従来のベースラインよりも改善したことを示す。
  論文  参考訳（メタデータ） (2022-11-28T23:20:47Z)
• Context-Aware Interaction Network for Question Matching [51.76812857301819]
  本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。 具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
  論文  参考訳（メタデータ） (2021-04-17T05:03:56Z)
• Pedestrian Behavior Prediction via Multitask Learning and Categorical Interaction Modeling [13.936894582450734]
  マルチモーダルデータに頼って歩行者の軌跡や行動を同時に予測するマルチタスク学習フレームワークを提案する。 本モデルでは, トラジェクティブと動作予測を最大22%, 6%向上させる。
  論文  参考訳（メタデータ） (2020-12-06T15:57:11Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。