論文の概要: From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding

• arxiv url: http://arxiv.org/abs/2304.00553v4
• Date: Wed, 3 Apr 2024 10:36:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 23:37:29.455684
• Title: From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding
• Title（参考訳）: 孤立した島からパンジーへ:人間の行動理解のための意味空間を統一する
• Authors: Yong-Lu Li, Xiaoqian Wu, Xinpeng Liu, Zehao Wang, Yiming Dou, Yikun Ji, Junyi Zhang, Yixing Li, Jingru Tan, Xudong Lu, Cewu Lu,
• Abstract要約: アクション理解は、物理空間から意味空間へのマッピングとして形成することができる。 そこで本研究では,Pangeaを完全に活用するために,物理空間から意味空間への新たなモデルマッピングを提案する。
• 参考スコア（独自算出の注目度）: 50.412121156940294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action understanding has attracted long-term attention. It can be formed as the mapping from the physical space to the semantic space. Typically, researchers built datasets according to idiosyncratic choices to define classes and push the envelope of benchmarks respectively. Datasets are incompatible with each other like "Isolated Islands" due to semantic gaps and various class granularities, e.g., do housework in dataset A and wash plate in dataset B. We argue that we need a more principled semantic space to concentrate the community efforts and use all datasets together to pursue generalizable action learning. To this end, we design a structured action semantic space given verb taxonomy hierarchy and covering massive actions. By aligning the classes of previous datasets to our semantic space, we gather (image/video/skeleton/MoCap) datasets into a unified database in a unified label system, i.e., bridging "isolated islands" into a "Pangea". Accordingly, we propose a novel model mapping from the physical space to semantic space to fully use Pangea. In extensive experiments, our new system shows significant superiority, especially in transfer learning. Our code and data will be made public at https://mvig-rhos.com/pangea.
• Abstract（参考訳）: 行動理解は長期的な関心を集めている。 物理空間から意味空間への写像として形成することができる。 通常、研究者はクラスを定義し、ベンチマークのエンベロープを押すために、慣用的な選択に従ってデータセットを構築した。 データセットは、セマンティックなギャップや、データセットAのハウスワークやデータセットBの洗面板など、さまざまなクラスの粒度によって、相互に相容れない。我々は、コミュニティの取り組みに集中し、汎用的なアクション学習を追求するために、すべてのデータセットを一緒に使用するために、より原則化されたセマンティックスペースが必要であると論じている。 この目的のために、動詞分類階層が与えられた構造化された行動意味空間を設計し、大規模な行動をカバーする。 以前のデータセットのクラスをセマンティック空間に合わせることで、(画像/ビデオ/スケルトン/MoCap)データセットを統一されたラベルシステムで統一されたデータベースにまとめます。 そこで本研究では,Pangeaを完全に活用するために,物理空間から意味空間への新たなモデルマッピングを提案する。 大規模な実験では,新しいシステムは,特に伝達学習において,大きな優位性を示す。 私たちのコードとデータはhttps://mvig-rhos.com/pangea.comで公開されます。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets [17.503843467554592]
  本稿では,異なるラベル集合を持つ異種データセットからの学習を支援する原理的アプローチを提案する。 我々の考えは、学習済みの言語モデルを用いて、ラベル名を用いて離散ラベルを連続的な潜在空間に埋め込むことである。 私たちのモデルは最先端の技術を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-03-19T06:14:22Z)
• Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation for autonomous vehicles [63.20765930558542]
  3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。 そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。 ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
  論文  参考訳（メタデータ） (2023-02-16T13:41:19Z)
• Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation [25.231470587575238]
  本稿では,意味的セグメンテーションを学習するための地域意味的コントラストとアグリゲーション(RCA)を提案する。 RCAは、訓練データに現れる多種多様なオブジェクトパターンを格納する地域記憶バンクを備えている。 RCAは、きめ細かいセマンティック理解の強い能力を獲得し、最終的には2つの人気のあるベンチマークで新しい最先端の結果を確立する。
  論文  参考訳（メタデータ） (2022-03-17T23:29:03Z)
• AutoGeoLabel: Automated Label Generation for Geospatial Machine Learning [69.47585818994959]
  リモートセンシングデータのためのラベルの自動生成のためのビッグデータ処理パイプラインを評価する。 我々は,大規模データプラットフォームであるIBM PAIRSを用いて,密集都市部でそのようなラベルを動的に生成する。
  論文  参考訳（メタデータ） (2022-01-31T20:02:22Z)
• Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
  ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。 入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。 埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
  論文  参考訳（メタデータ） (2021-09-09T02:57:34Z)
• Joining datasets via data augmentation in the label space for neural networks [6.036150783745836]
  ラベル空間におけるデータセットの結合を成功させるために,人工的に作成した知識グラフ,繰り返しニューラルネットワーク,ポリシー勾配を活用する新しい手法を提案する。 画像とテキストの分類における実験結果は,我々のアプローチの有効性を正当化するものである。
  論文  参考訳（メタデータ） (2021-06-17T06:08:11Z)
• Simple multi-dataset detection [83.9604523643406]
  複数の大規模データセット上で統合検出器を訓練する簡単な方法を提案する。 データセット固有のアウトプットを共通の意味分類に自動的に統合する方法を示す。 私たちのアプローチは手動の分類学の調整を必要としません。
  論文  参考訳（メタデータ） (2021-02-25T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。