Fugu-MT 論文翻訳(概要): Contrast with Reconstruct: Contrastive 3D Representation Learning Guided by Generative Pretraining

論文の概要: Contrast with Reconstruct: Contrastive 3D Representation Learning Guided by Generative Pretraining

arxiv url: http://arxiv.org/abs/2302.02318v1
Date: Sun, 5 Feb 2023 06:58:35 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 18:53:06.265289
Title: Contrast with Reconstruct: Contrastive 3D Representation Learning Guided by Generative Pretraining
Title（参考訳）: コントラスト・コントラスト:生成前訓練による3次元表現学習
Authors: Zekun Qi, Runpei Dong, Guofan Fan, Zheng Ge, Xiangyu Zhang, Kaisheng Ma, Li Yi
Abstract要約: 本稿では、コントラスト的・生成的モデリングパラダイムを統一した再構成(ReCon)と対比する。 Encoder-decoder スタイルの ReCon-block が提案されている。 ReConは、ScanObjectNNの91.26%の精度など、新しい最先端の3D表現学習を実現している。
参考スコア（独自算出の注目度）: 26.908554018069545
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mainstream 3D representation learning approaches are built upon contrastive or generative modeling pretext tasks, where great improvements in performance on various downstream tasks have been achieved. However, by investigating the methods of these two paradigms, we find that (i) contrastive models are data-hungry that suffer from a representation over-fitting issue; (ii) generative models have a data filling issue that shows inferior data scaling capacity compared to contrastive models. This motivates us to learn 3D representations by sharing the merits of both paradigms, which is non-trivial due to the pattern difference between the two paradigms. In this paper, we propose contrast with reconstruct (ReCon) that unifies these two paradigms. ReCon is trained to learn from both generative modeling teachers and cross-modal contrastive teachers through ensemble distillation, where the generative student guides the contrastive student. An encoder-decoder style ReCon-block is proposed that transfers knowledge through cross attention with stop-gradient, which avoids pretraining over-fitting and pattern difference issues. ReCon achieves a new state-of-the-art in 3D representation learning, e.g., 91.26% accuracy on ScanObjectNN. Codes will be released at https://github.com/qizekun/ReCon.
Abstract（参考訳）: 主流の3D表現学習アプローチは、様々な下流タスクのパフォーマンスに大きな改善が達成された、コントラスト的または生成的モデリングプレテキストタスクに基づいて構築されている。しかしこの2つのパラダイムの方法を調べることで (i)対比モデルは、表現過剰な問題に苦しむデータ格納体である。 (ii)生成モデルには、対照的なモデルに比べてデータスケーリング能力が劣るデータ充填問題がある。これにより、両方のパラダイムのメリットを共有することで、3d表現を学ぶモチベーションが得られます。本稿では,これら2つのパラダイムを統一した再構成(ReCon)と対比する。コンコンは、生成的モデリングの教師と、生成的学生が対照的学生を指導するアンサンブル蒸留を通して、横断的コントラストの教師の両方から学ぶように訓練されている。オーバーフィットとパターン差の問題の事前学習を回避するために,クロスアテンションによる知識の伝達を行うエンコーダデコーダスタイルのReConブロックを提案する。 ReConは、ScanObjectNNの91.26%の精度など、新しい最先端の3D表現学習を実現している。コードはhttps://github.com/qizekun/ReConでリリースされる。

関連論文リスト

GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文参考訳（メタデータ） (2024-07-05T03:43:08Z)
Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文参考訳（メタデータ） (2024-06-17T07:43:53Z)
Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
論文参考訳（メタデータ） (2023-08-19T05:34:13Z)
Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud Recognition [108.07591240357306]
我々は,従来の3次元モデルとよく訓練された2次元モデルとの合同予測を用いて,少数の3次元物体の雲認識におけるデータ不足問題に取り組む。異なるラベルに対して高い信頼性の予測を行う'結合型ハードサンプル'のトレーニングは、クラックがより効果的でないことが分かりました。 InvJointと呼ばれる提案した不変トレーニング戦略は、ハードサンプルに重点を置いているだけでなく、矛盾する2Dと3Dの不明瞭な予測の相違も求めている。
論文参考訳（メタデータ） (2023-08-18T17:43:12Z)
Prompted Contrast with Masked Motion Modeling: Towards Versatile 3D Action Representation Learning [33.68311764817763]
本稿では,多目的な3次元動作表現学習のためのMasked Motion Modeling(PCM$rm 3$)を用いたPrompted Contrastを提案する。提案手法は,比較学習とマスク付き予測タスクを相互に有益な方法で統合する。 3つの大規模データセットに基づく5つの下流タスクのテストを行い、最先端の作業と比較してPCM$rm 3$の優れた一般化能力を実証した。
論文参考訳（メタデータ） (2023-08-08T01:27:55Z)
Hallucination Improves the Performance of Unsupervised Visual Representation Learning [9.504503675097137]
本研究では,さらにコントラストを増すために,効率よく追加の正のサンプルを生成できるHalucinatorを提案する。 Hallucinatorは識別可能で、機能領域で新しいデータを生成する。顕著なことに,提案した幻覚器が様々な対照的な学習モデルによく当てはまることを実証的に証明する。
論文参考訳（メタデータ） (2023-07-22T21:15:56Z)
Progressive Learning of 3D Reconstruction Network from 2D GAN Data [33.42114674602613]
本稿では,高品質なテクスチャ3Dモデルを単一画像から再構成する手法を提案する。提案手法は,高額なアノテーションを持つデータセット,マルチビュー画像とそのカメラパラメータに依存している。提案手法は,GAN生成したマルチビュー画像や,高価なアノテーションを付加した実画像において,従来の手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2023-05-18T16:45:51Z)
Masked Scene Contrast: A Scalable Framework for Unsupervised 3D Representation Learning [37.155772047656114]
Masked Scene Contrast (MSC)フレームワークは、より効率的かつ効果的に包括的な3D表現を抽出することができる。 MSCはまた、複数のデータセットにわたる大規模な3D事前トレーニングを可能にする。
論文参考訳（メタデータ） (2023-03-24T17:59:58Z)
Generative-Contrastive Learning for Self-Supervised Latent Representations of 3D Shapes from Multi-Modal Euclidean Input [44.10761155817833]
本稿では,3次元形状の潜在表現を学習するための,生成型とコントラスト型を組み合わせたニューラルアーキテクチャを提案する。このアーキテクチャでは、2つのエンコーダブランチをボクセルグリッドと、同じ形状のマルチビューイメージに使用している。
論文参考訳（メタデータ） (2023-01-11T18:14:24Z)
PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文参考訳（メタデータ） (2022-09-14T22:58:31Z)
Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
論文参考訳（メタデータ） (2020-11-24T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。