論文の概要: From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding

• arxiv url: http://arxiv.org/abs/2304.00553v3
• Date: Mon, 27 Nov 2023 16:24:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 16:45:13.976495
• Title: From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding
• Title（参考訳）: 孤立島からパンジー:人間行動理解のための意味空間の統合
• Authors: Yong-Lu Li, Xiaoqian Wu, Xinpeng Liu, Zehao Wang, Yiming Dou, Yikun Ji, Junyi Zhang, Yixing Li, Jingru Tan, Xudong Lu, Cewu Lu
• Abstract要約: 行動理解は知的エージェントにとって重要であり、長期的な注目を集めている。 伝統的に、研究者はクラスを定義し、ベンチマークのエンベロープをそれぞれプッシュするために、慣用的な選択に従ってアクションデータセットを構築した。 そこで本研究では,Pangeaを完全に活用するために,物理空間から意味空間への新たなモデルマッピングを提案する。
• 参考スコア（独自算出の注目度）: 51.9125449949175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a vital step toward the intelligent agent, Action understanding matters for intelligent agents and has attracted long-term attention. It can be formed as the mapping from the action physical space to the semantic space. Typically, researchers built action datasets according to idiosyncratic choices to define classes and push the envelope of benchmarks respectively. Thus, datasets are incompatible with each other like "Isolated Islands" due to semantic gaps and various class granularities, e.g., do housework in dataset A and wash plate in dataset B. We argue that a more principled semantic space is an urgent need to concentrate the community efforts and enable us to use all datasets together to pursue generalizable action learning. To this end, we design a structured action semantic space in view of verb taxonomy hierarchy and covering massive actions. By aligning the classes of previous datasets to our semantic space, we gather (image/video/skeleton/MoCap) datasets into a unified database in a unified label system, i.e., bridging ``isolated islands'' into a "Pangea". Accordingly, we propose a novel model mapping from the physical space to semantic space to fully use Pangea. In extensive experiments, our new system shows significant superiority, especially in transfer learning. Code and data will be made publicly available.
• Abstract（参考訳）: 知的エージェントへの重要なステップとして、インテリジェントエージェントのアクション理解が重要であり、長期的な注目を集めている。 アクション物理空間から意味空間への写像として形成することができる。 通常、研究者はクラスを定義し、ベンチマークのエンベロープを押すために、慣用的な選択に従ってアクションデータセットを構築した。 したがって、データセットは、セマンティクスギャップやさまざまなクラス粒度、例えばデータセットaでハウスワークを行い、データセットbでウォッシュプレートを行うなど、"分離された島"のように相互に非互換である。 この目的のために,動詞分類階層と大規模行動被覆の観点から,構造化された動作意味空間を設計する。 従来のデータセットのクラスをセマンティクス空間に合わせることで、(画像/ビデオ/スケルトン/mocap)データセットを統一ラベルシステム内の統一データベース、すなわち``isolated islands'を"pangea"にブリッジする。 そこで,本研究では,物理空間から意味空間への新しいモデルマッピングを提案する。 大規模な実験では,新しいシステムは特に伝達学習において,大きな優位性を示す。 コードとデータは公開される予定だ。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets [17.503843467554592]
  本稿では,異なるラベル集合を持つ異種データセットからの学習を支援する原理的アプローチを提案する。 我々の考えは、学習済みの言語モデルを用いて、ラベル名を用いて離散ラベルを連続的な潜在空間に埋め込むことである。 私たちのモデルは最先端の技術を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-03-19T06:14:22Z)
• Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation for autonomous vehicles [63.20765930558542]
  3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。 そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。 ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
  論文  参考訳（メタデータ） (2023-02-16T13:41:19Z)
• Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation [25.231470587575238]
  本稿では,意味的セグメンテーションを学習するための地域意味的コントラストとアグリゲーション(RCA)を提案する。 RCAは、訓練データに現れる多種多様なオブジェクトパターンを格納する地域記憶バンクを備えている。 RCAは、きめ細かいセマンティック理解の強い能力を獲得し、最終的には2つの人気のあるベンチマークで新しい最先端の結果を確立する。
  論文  参考訳（メタデータ） (2022-03-17T23:29:03Z)
• AutoGeoLabel: Automated Label Generation for Geospatial Machine Learning [69.47585818994959]
  リモートセンシングデータのためのラベルの自動生成のためのビッグデータ処理パイプラインを評価する。 我々は,大規模データプラットフォームであるIBM PAIRSを用いて,密集都市部でそのようなラベルを動的に生成する。
  論文  参考訳（メタデータ） (2022-01-31T20:02:22Z)
• Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
  ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。 入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。 埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
  論文  参考訳（メタデータ） (2021-09-09T02:57:34Z)
• Joining datasets via data augmentation in the label space for neural networks [6.036150783745836]
  ラベル空間におけるデータセットの結合を成功させるために,人工的に作成した知識グラフ,繰り返しニューラルネットワーク,ポリシー勾配を活用する新しい手法を提案する。 画像とテキストの分類における実験結果は,我々のアプローチの有効性を正当化するものである。
  論文  参考訳（メタデータ） (2021-06-17T06:08:11Z)
• Simple multi-dataset detection [83.9604523643406]
  複数の大規模データセット上で統合検出器を訓練する簡単な方法を提案する。 データセット固有のアウトプットを共通の意味分類に自動的に統合する方法を示す。 私たちのアプローチは手動の分類学の調整を必要としません。
  論文  参考訳（メタデータ） (2021-02-25T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。