論文の概要: From Isolated Islands to Pangea: Unifying Semantic Space for Human
Action Understanding
- arxiv url: http://arxiv.org/abs/2304.00553v3
- Date: Mon, 27 Nov 2023 16:24:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 16:45:13.976495
- Title: From Isolated Islands to Pangea: Unifying Semantic Space for Human
Action Understanding
- Title(参考訳): 孤立島からパンジー:人間行動理解のための意味空間の統合
- Authors: Yong-Lu Li, Xiaoqian Wu, Xinpeng Liu, Zehao Wang, Yiming Dou, Yikun
Ji, Junyi Zhang, Yixing Li, Jingru Tan, Xudong Lu, Cewu Lu
- Abstract要約: 行動理解は知的エージェントにとって重要であり、長期的な注目を集めている。
伝統的に、研究者はクラスを定義し、ベンチマークのエンベロープをそれぞれプッシュするために、慣用的な選択に従ってアクションデータセットを構築した。
そこで本研究では,Pangeaを完全に活用するために,物理空間から意味空間への新たなモデルマッピングを提案する。
- 参考スコア(独自算出の注目度): 51.9125449949175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a vital step toward the intelligent agent, Action understanding matters
for intelligent agents and has attracted long-term attention. It can be formed
as the mapping from the action physical space to the semantic space. Typically,
researchers built action datasets according to idiosyncratic choices to define
classes and push the envelope of benchmarks respectively. Thus, datasets are
incompatible with each other like "Isolated Islands" due to semantic gaps and
various class granularities, e.g., do housework in dataset A and wash plate in
dataset B. We argue that a more principled semantic space is an urgent need to
concentrate the community efforts and enable us to use all datasets together to
pursue generalizable action learning. To this end, we design a structured
action semantic space in view of verb taxonomy hierarchy and covering massive
actions. By aligning the classes of previous datasets to our semantic space, we
gather (image/video/skeleton/MoCap) datasets into a unified database in a
unified label system, i.e., bridging ``isolated islands'' into a "Pangea".
Accordingly, we propose a novel model mapping from the physical space to
semantic space to fully use Pangea. In extensive experiments, our new system
shows significant superiority, especially in transfer learning. Code and data
will be made publicly available.
- Abstract(参考訳): 知的エージェントへの重要なステップとして、インテリジェントエージェントのアクション理解が重要であり、長期的な注目を集めている。
アクション物理空間から意味空間への写像として形成することができる。
通常、研究者はクラスを定義し、ベンチマークのエンベロープを押すために、慣用的な選択に従ってアクションデータセットを構築した。
したがって、データセットは、セマンティクスギャップやさまざまなクラス粒度、例えばデータセットaでハウスワークを行い、データセットbでウォッシュプレートを行うなど、"分離された島"のように相互に非互換である。
この目的のために,動詞分類階層と大規模行動被覆の観点から,構造化された動作意味空間を設計する。
従来のデータセットのクラスをセマンティクス空間に合わせることで、(画像/ビデオ/スケルトン/mocap)データセットを統一ラベルシステム内の統一データベース、すなわち``isolated islands'を"pangea"にブリッジする。
そこで,本研究では,物理空間から意味空間への新しいモデルマッピングを提案する。
大規模な実験では,新しいシステムは特に伝達学習において,大きな優位性を示す。
コードとデータは公開される予定だ。
関連論文リスト
- How To Not Train Your Dragon: Training-free Embodied Object Goal
Navigation with Semantic Frontiers [94.46825166907831]
Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。
本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。
本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
論文 参考訳(メタデータ) (2023-05-26T13:38:33Z) - Label Name is Mantra: Unifying Point Cloud Segmentation across
Heterogeneous Datasets [17.503843467554592]
本稿では,異なるラベル集合を持つ異種データセットからの学習を支援する原理的アプローチを提案する。
我々の考えは、学習済みの言語モデルを用いて、ラベル名を用いて離散ラベルを連続的な潜在空間に埋め込むことである。
私たちのモデルは最先端の技術を大きなマージンで上回ります。
論文 参考訳(メタデータ) (2023-03-19T06:14:22Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳(メタデータ) (2023-02-16T13:41:19Z) - Disentangling Learnable and Memorizable Data via Contrastive Learning
for Semantic Communications [81.10703519117465]
セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。
特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。
信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。
シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
論文 参考訳(メタデータ) (2022-12-18T12:00:12Z) - Regional Semantic Contrast and Aggregation for Weakly Supervised
Semantic Segmentation [25.231470587575238]
本稿では,意味的セグメンテーションを学習するための地域意味的コントラストとアグリゲーション(RCA)を提案する。
RCAは、訓練データに現れる多種多様なオブジェクトパターンを格納する地域記憶バンクを備えている。
RCAは、きめ細かいセマンティック理解の強い能力を獲得し、最終的には2つの人気のあるベンチマークで新しい最先端の結果を確立する。
論文 参考訳(メタデータ) (2022-03-17T23:29:03Z) - Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。
入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。
埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
論文 参考訳(メタデータ) (2021-09-09T02:57:34Z) - Learning Embeddings that Capture Spatial Semantics for Indoor Navigation [2.2940141855172027]
本研究では,空間的セマンティックな先行情報をキャプチャするオブジェクトの埋め込みによって,構造化された環境における探索やナビゲーションのタスクをガイドする方法について検討する。
本研究では,事前学習された言語モデルと多言語知識ベースをオブジェクト埋め込みとして活用することにより,そのような空間意味認識をロボットに組み込む手法を提案する。
論文 参考訳(メタデータ) (2021-07-31T06:12:40Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳(メタデータ) (2021-04-29T05:31:21Z) - Language in a (Search) Box: Grounding Language Learning in Real-World
Human-Machine Interaction [4.137464623395377]
ユーザデータのみから、接地領域、表記関数、合成関数がどのように学習されるかを示す。
合成性およびゼロショット推論タスクに関する基礎的セマンティクスをベンチマークする。
論文 参考訳(メタデータ) (2021-04-18T15:03:16Z) - SIRI: Spatial Relation Induced Network For Spatial Description
Resolution [64.38872296406211]
言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。
提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。
提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
論文 参考訳(メタデータ) (2020-10-27T14:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。