論文の概要: To Supervise or Not to Supervise: Understanding and Addressing the Key Challenges of 3D Transfer Learning

• arxiv url: http://arxiv.org/abs/2403.17869v1
• Date: Tue, 26 Mar 2024 16:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 14:27:54.640170
• Title: To Supervise or Not to Supervise: Understanding and Addressing the Key Challenges of 3D Transfer Learning
• Title（参考訳）: 3Dトランスファー学習の鍵となる課題の理解と対処
• Authors: Souhail Hadgi, Lei Li, Maks Ovsjanikov,
• Abstract要約: 下流3D作業における教師付きコントラスト付き事前学習戦略とその有用性について, より詳細な調査を行う。 教師付き事前学習の伝達性を向上する簡易な幾何正規化戦略を提案する。
• 参考スコア（独自算出の注目度）: 33.03144344690688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has long been a key factor in the advancement of many fields including 2D image analysis. Unfortunately, its applicability in 3D data processing has been relatively limited. While several approaches for 3D transfer learning have been proposed in recent literature, with contrastive learning gaining particular prominence, most existing methods in this domain have only been studied and evaluated in limited scenarios. Most importantly, there is currently a lack of principled understanding of both when and why 3D transfer learning methods are applicable. Remarkably, even the applicability of standard supervised pre-training is poorly understood. In this work, we conduct the first in-depth quantitative and qualitative investigation of supervised and contrastive pre-training strategies and their utility in downstream 3D tasks. We demonstrate that layer-wise analysis of learned features provides significant insight into the downstream utility of trained networks. Informed by this analysis, we propose a simple geometric regularization strategy, which improves the transferability of supervised pre-training. Our work thus sheds light onto both the specific challenges of 3D transfer learning, as well as strategies to overcome them.
• Abstract（参考訳）: トランスファーラーニングは、2次元画像解析を含む多くの分野の発展において、長い間重要な要素であった。 残念ながら、3Dデータ処理の適用性は比較的限られている。 近年, コントラスト学習が顕著に普及する中で, 3次元移動学習へのいくつかのアプローチが提案されているが, 既存の手法の多くは, 限られたシナリオでのみ研究され, 評価されている。 最も重要なことは、現在、いつ、なぜ3D転送学習法が適用されるのかという原則的な理解が欠如していることである。 注目すべきは、標準教師付き事前訓練の適用性さえ理解されていないことである。 本研究では,下流3D作業における教師付きコントラスト付き事前学習戦略とその有用性について,詳細な定量的・定性的な調査を行った。 学習した特徴を階層的に分析することで、トレーニングされたネットワークの下流ユーティリティに関する重要な洞察が得られることを実証する。 そこで本研究では,教師付き事前学習の伝達性を向上させる簡易な幾何正規化戦略を提案する。 そのため、我々の仕事は、3Dトランスファー学習の具体的な課題と、それを克服するための戦略の両方に光を当てています。

関連論文リスト

• Language-Assisted 3D Scene Understanding [17.663583203177197]
  我々は,ポイントクラウド特徴学習(LAST-PCL)のための言語支援アプローチを提案する。 我々は,テキストの先行性を損なうことなく,非冗長性と特徴次元の低減を実現する。 提案手法は意味的に意味のあるポイントクラウドの特徴を学習し、3Dセマンティックセグメンテーション、3Dオブジェクト検出、3Dシーン分類タスクにおける最先端または同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-18T18:54:56Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Explore In-Context Learning for 3D Point Cloud Understanding [71.20912026561484]
  我々は,特に3Dポイントクラウドにおけるコンテキスト内学習のために設計された,ポイント・イン・コンテキストという新しいフレームワークを紹介した。 一般点サンプリング演算子とタンデムで協調して動作するように慎重に設計したJoint Smplingモジュールを提案する。 提案手法の汎用性と適応性を検証するため,幅広いタスクを扱うための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T17:53:21Z)
• A Survey of Label-Efficient Deep Learning for 3D Point Clouds [109.07889215814589]
  本稿では,点雲のラベル効率学習に関する包括的調査を行う。 本稿では,ラベルの種類によって提供されるデータ前提条件に基づいて,ラベル効率のよい学習手法を整理する分類法を提案する。 それぞれのアプローチについて、問題設定の概要と、関連する進展と課題を示す広範な文献レビューを提供する。
  論文  参考訳（メタデータ） (2023-05-31T12:54:51Z)
• Self-Supervised Learning for Point Clouds Data: A Survey [8.858165912687923]
  自己監督学習(SSL)は、時間と労働集約的なデータラベリング問題を解決するための重要なソリューションであると考えられている。 本稿では,ポイントクラウドにおけるSSLの最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2023-05-09T08:47:09Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。