論文の概要: Parameter-Efficient Person Re-identification in the 3D Space
- arxiv url: http://arxiv.org/abs/2006.04569v3
- Date: Sat, 31 Jul 2021 02:45:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 02:00:13.470434
- Title: Parameter-Efficient Person Re-identification in the 3D Space
- Title（参考訳）: 3次元空間におけるパラメータ効率の高い人物再同定
- Authors: Zhedong Zheng, Nenggan Zheng, Yi Yang
- Abstract要約: 我々は3次元空間に2D画像を投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3次元点雲から直接歩行者表現を学習する。
OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。
私たちは3D空間における人物の再識別を行う最初の試みの1つです。
- 参考スコア（独自算出の注目度）: 51.092669618679615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: People live in a 3D world. However, existing works on person
re-identification (re-id) mostly consider the semantic representation learning
in a 2D space, intrinsically limiting the understanding of people. In this
work, we address this limitation by exploring the prior knowledge of the 3D
body structure. Specifically, we project 2D images to a 3D space and introduce
a novel parameter-efficient Omni-scale Graph Network (OG-Net) to learn the
pedestrian representation directly from 3D point clouds. OG-Net effectively
exploits the local information provided by sparse 3D points and takes advantage
of the structure and appearance information in a coherent manner. With the help
of 3D geometry information, we can learn a new type of deep re-id feature free
from noisy variants, such as scale and viewpoint. To our knowledge, we are
among the first attempts to conduct person re-identification in the 3D space.
We demonstrate through extensive experiments that the proposed method (1) eases
the matching difficulty in the traditional 2D space, (2) exploits the
complementary information of 2D appearance and 3D structure, (3) achieves
competitive results with limited parameters on four large-scale person re-id
datasets, and (4) has good scalability to unseen datasets. Our code, models and
generated 3D human data are publicly available at
https://github.com/layumi/person-reid-3d .
- Abstract（参考訳）: 人々は3Dの世界に住んでいます。
しかしながら、人の再識別(re-id)に関する既存の研究は、主に2次元空間における意味表現学習を考察し、本質的に人の理解を制限する。
本研究では,3次元物体構造の事前知識を探索することで,この限界に対処した。
具体的には、2D画像を3D空間に投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3Dポイントクラウドから直接歩行者表現を学習する。
OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。
3dジオメトリ情報の助けを借りて、スケールやビューポイントといったノイズの多いバリエーションのない、新しいタイプのディープリid機能を学べる。
私たちの知る限り、私たちは3D空間における人物の再識別を行う最初の試みの1つです。
提案手法は,(1)従来の2次元空間におけるマッチングの難しさを緩和し,(2)2次元の外観と3次元構造の相補的な情報を利用して,(3)大規模人物のRe-idデータセットのパラメータを限定し,(4)未知のデータセットに対して優れたスケーラビリティを有することを示す。
私たちのコード、モデル、生成された3Dの人間のデータはhttps://github.com/layumi/person-reid-3d で公開されています。
関連論文リスト
- OVIR-3D: Open-Vocabulary 3D Instance Retrieval Without Training on 3D
Data [15.53270401654078]
OVIR-3Dは、訓練に3Dデータを使うことなく、オープンな3Dオブジェクトインスタンス検索を行う方法である。
これはテキスト整列2D領域の提案を多視点で3D空間に融合することで実現される。
公開データセットと実際のロボットを用いた実験は、ロボットのナビゲーションと操作における手法の有効性とその可能性を示している。
論文 参考訳（メタデータ） (2023-11-06T05:00:00Z) - Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。
Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。
強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
論文 参考訳（メタデータ） (2023-10-10T16:49:21Z) - Learning Occupancy for Monocular 3D Object Detection [25.56336546513198]
モノクローナル3次元検出のための占有度学習法であるtextbfOccupancy M3D を提案する。
フラストムと3D空間の占有を直接学習し、より差別的で情報的な3D特徴や表現をもたらす。
KITTIとオープンデータセットの実験により,提案手法が新たな最先端技術を実現し,他の手法をはるかに上回っていることが示された。
論文 参考訳（メタデータ） (2023-05-25T04:03:46Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳（メタデータ） (2022-04-06T03:54:06Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳（メタデータ） (2022-02-17T09:54:29Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳（メタデータ） (2020-08-24T21:51:29Z) - Detailed 2D-3D Joint Representation for Human-Object Interaction [45.71407935014447]
HOI学習のための2次元3次元共同表現学習法を提案する。
まず, 単視点の人体捕捉法を用いて, 3次元体, 顔, 手の形状を詳細に把握する。
次に,3次元オブジェクトの位置と大きさを,2次元オブジェクト空間構成と対象カテゴリーの先行点から推定する。
論文 参考訳（メタデータ） (2020-04-17T10:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。