論文の概要: BFA: Best-Feature-Aware Fusion for Multi-View Fine-grained Manipulation

• arxiv url: http://arxiv.org/abs/2502.11161v1
• Date: Sun, 16 Feb 2025 15:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:14.512397
• Title: BFA: Best-Feature-Aware Fusion for Multi-View Fine-grained Manipulation
• Title（参考訳）: BFA:多視点きめ細かいマニピュレーションのためのベストフェール・アウェア・フュージョン
• Authors: Zihan Lan, Weixin Mao, Haosheng Li, Le Wang, Tiancai Wang, Haoqiang Fan, Osamu Yoshie,
• Abstract要約: マルチビュー操作タスクのためのBFA融合戦略を提案する。 ポリシーネットワークの視覚的バックボーンに基づいて、各ビューの重要度を予測する軽量ネットワークを設計する。 予測された重要度に基づいて、再重み付けされたマルチビュー機能はその後融合され、エンドツーエンドのポリシーネットワークに入力される。
• 参考スコア（独自算出の注目度）: 23.28384886356853
• License:
• Abstract: In real-world scenarios, multi-view cameras are typically employed for fine-grained manipulation tasks. Existing approaches (e.g., ACT) tend to treat multi-view features equally and directly concatenate them for policy learning. However, it will introduce redundant visual information and bring higher computational costs, leading to ineffective manipulation. For a fine-grained manipulation task, it tends to involve multiple stages while the most contributed view for different stages is varied over time. In this paper, we propose a plug-and-play best-feature-aware (BFA) fusion strategy for multi-view manipulation tasks, which is adaptable to various policies. Built upon the visual backbone of the policy network, we design a lightweight network to predict the importance score of each view. Based on the predicted importance scores, the reweighted multi-view features are subsequently fused and input into the end-to-end policy network, enabling seamless integration. Notably, our method demonstrates outstanding performance in fine-grained manipulations. Experimental results show that our approach outperforms multiple baselines by 22-46% success rate on different tasks. Our work provides new insights and inspiration for tackling key challenges in fine-grained manipulations.
• Abstract（参考訳）: 現実のシナリオでは、マルチビューカメラは通常、きめ細かい操作タスクに使用される。 既存のアプローチ(例えばACT)は、多面的な特徴を平等に扱い、政策学習のためにそれらを直接結合する傾向があります。 しかし、冗長な視覚情報を導入し、高い計算コストをもたらし、非効率な操作につながる。 きめ細かい操作タスクでは、複数のステージを含む傾向があり、異なるステージに対する最も貢献するビューは時間とともに変化する。 本稿では,多視点操作タスクのためのBFA統合戦略を提案する。 ポリシネットワークの視覚的バックボーンに基づいて,各ビューの重要度を予測する軽量ネットワークを設計する。 予測された重要度に基づいて、再重み付けされたマルチビュー機能はその後融合され、エンドツーエンドのポリシーネットワークに入力され、シームレスな統合を可能にする。 特に,本手法は微細な操作における優れた性能を示す。 実験結果から, 異なるタスクにおいて, 複数のベースラインを22～46%向上させることができた。 私たちの研究は、きめ細かい操作において重要な課題に取り組むための、新たな洞察とインスピレーションを提供します。

関連論文リスト

• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification [11.562980171753162]
  一般化可能な人物識別(Re-ID)は、機械学習とコンピュータビジョンにおいて非常にホットな研究トピックである。 従来の手法は主に視覚表現学習に焦点をあてるが、訓練中の意味的特徴の可能性を検討することは無視される。 MMETと呼ばれるマルチモーダル等価変換器を提案し,より堅牢なビジュアル・セマンティックな埋め込み学習を実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:37:25Z)
• End-to-End Affordance Learning for Robotic Manipulation [4.405918052597016]
  インタラクティブな環境で3Dオブジェクトを操作することの学習は、強化学習において難しい問題であった。 視覚的余裕は、効果的に実行可能なセマンティクスを備えたオブジェクト中心の情報提供において、大きな見通しを示してきた。 本研究では,RL学習過程において生成した接触情報を用いて視覚的余裕を生かし,興味のある接触マップを予測する。
  論文  参考訳（メタデータ） (2022-09-26T18:24:28Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)
• ASM2TV: An Adaptive Semi-Supervised Multi-Task Multi-View Learning Framework [7.64589466094347]
  モノのインターネットにおけるヒューマンアクティビティ認識(HAR)はマルチタスクのマルチビュー学習問題として定式化することができる。 半教師付きマルチタスク多視点学習のための新しいフレームワーク ASM2TV を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:15:32Z)
• Seeing All the Angles: Learning Multiview Manipulation Policies for Contact-Rich Tasks from Demonstrations [7.51557557629519]
  成功したマルチビューポリシは,モバイル操作プラットフォームにデプロイすることが可能だ。 様々な視点からデータを収集することで、模倣学習によってマルチビューのポリシーを見いだせることを示す。 マルチビューデータからの学習は,同一量の固定ビューデータによる学習と比較して,固定ビュータスクのパフォーマンスに対するペナルティがほとんどないことを示した。
  論文  参考訳（メタデータ） (2021-04-28T17:43:29Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。