論文の概要: To Supervise or Not to Supervise: Understanding and Addressing the Key Challenges of 3D Transfer Learning
- arxiv url: http://arxiv.org/abs/2403.17869v1
- Date: Tue, 26 Mar 2024 16:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 14:27:54.640170
- Title: To Supervise or Not to Supervise: Understanding and Addressing the Key Challenges of 3D Transfer Learning
- Title(参考訳): 3Dトランスファー学習の鍵となる課題の理解と対処
- Authors: Souhail Hadgi, Lei Li, Maks Ovsjanikov,
- Abstract要約: 下流3D作業における教師付きコントラスト付き事前学習戦略とその有用性について, より詳細な調査を行う。
教師付き事前学習の伝達性を向上する簡易な幾何正規化戦略を提案する。
- 参考スコア(独自算出の注目度): 33.03144344690688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning has long been a key factor in the advancement of many fields including 2D image analysis. Unfortunately, its applicability in 3D data processing has been relatively limited. While several approaches for 3D transfer learning have been proposed in recent literature, with contrastive learning gaining particular prominence, most existing methods in this domain have only been studied and evaluated in limited scenarios. Most importantly, there is currently a lack of principled understanding of both when and why 3D transfer learning methods are applicable. Remarkably, even the applicability of standard supervised pre-training is poorly understood. In this work, we conduct the first in-depth quantitative and qualitative investigation of supervised and contrastive pre-training strategies and their utility in downstream 3D tasks. We demonstrate that layer-wise analysis of learned features provides significant insight into the downstream utility of trained networks. Informed by this analysis, we propose a simple geometric regularization strategy, which improves the transferability of supervised pre-training. Our work thus sheds light onto both the specific challenges of 3D transfer learning, as well as strategies to overcome them.
- Abstract(参考訳): トランスファーラーニングは、2次元画像解析を含む多くの分野の発展において、長い間重要な要素であった。
残念ながら、3Dデータ処理の適用性は比較的限られている。
近年, コントラスト学習が顕著に普及する中で, 3次元移動学習へのいくつかのアプローチが提案されているが, 既存の手法の多くは, 限られたシナリオでのみ研究され, 評価されている。
最も重要なことは、現在、いつ、なぜ3D転送学習法が適用されるのかという原則的な理解が欠如していることである。
注目すべきは、標準教師付き事前訓練の適用性さえ理解されていないことである。
本研究では,下流3D作業における教師付きコントラスト付き事前学習戦略とその有用性について,詳細な定量的・定性的な調査を行った。
学習した特徴を階層的に分析することで、トレーニングされたネットワークの下流ユーティリティに関する重要な洞察が得られることを実証する。
そこで本研究では,教師付き事前学習の伝達性を向上させる簡易な幾何正規化戦略を提案する。
そのため、我々の仕事は、3Dトランスファー学習の具体的な課題と、それを克服するための戦略の両方に光を当てています。
関連論文リスト
- A Review and A Robust Framework of Data-Efficient 3D Scene Parsing with
Traditional/Learned 3D Descriptors [10.497309421830671]
既存の最先端の3Dポイントクラウド理解手法は、完全に教師された方法でのみうまく機能する。
この研究は、ラベルが限定されている場合のポイントクラウド理解に取り組むための、汎用的でシンプルなフレームワークを提供する。
論文 参考訳(メタデータ) (2023-12-03T02:51:54Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳(メタデータ) (2023-09-21T10:14:53Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Autonomous
Driving [84.22159537581742]
職業予測は一般表現の学習に有望であることが示されている。
SPOTは、ポイントクラウド拡張にビーム再サンプリング技術を使用し、クラスバランス戦略を適用している。
論文 参考訳(メタデータ) (2023-09-19T11:13:01Z) - Hierarchical Supervision and Shuffle Data Augmentation for 3D
Semi-Supervised Object Detection [90.32180043449263]
最先端の3Dオブジェクト検出器は通常、高品質な3Dアノテーションを備えた大規模データセットで訓練される。
自然な治療法は、限られた量のラベル付きサンプルと豊富なラベル付きサンプルを活用することで、半教師付き学習(SSL)を採用することである。
本稿では,HSSDA(Hierarchical Supervision and Shuffle Data Augmentation)の新たなアプローチを提案する。
論文 参考訳(メタデータ) (2023-04-04T02:09:32Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - Real-Time Topology Optimization in 3D via Deep Transfer Learning [0.0]
本稿では,畳み込みニューラルネットワークに基づく伝達学習手法を提案する。
さまざまな形状やトポロジの高解像度3Dデザイン領域に対応できることを示します。
実験では,平均二進法精度を95%程度,実時間予測速度で達成した。
論文 参考訳(メタデータ) (2021-02-11T21:09:58Z) - Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
3Dモデリングと再構築のための新しい学習フレームワークを紹介します。
提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
論文 参考訳(メタデータ) (2020-12-14T03:56:31Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳(メタデータ) (2020-06-16T22:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。