論文の概要: T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data

• arxiv url: http://arxiv.org/abs/2410.05016v1
• Date: Mon, 7 Oct 2024 13:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:48:04.698243
• Title: T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data
• Title（参考訳）: T-JEPA: タブラルデータのための拡張不要な自己教師付き学習
• Authors: Hugo Thimonier, José Lucas De Melo Costa, Fabrice Popineau, Arpad Rimmel, Bich-Liên Doan,
• Abstract要約: 自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervision is often used for pre-training to foster performance on a downstream task by constructing meaningful representations of samples. Self-supervised learning (SSL) generally involves generating different views of the same sample and thus requires data augmentations that are challenging to construct for tabular data. This constitutes one of the main challenges of self-supervision for structured data. In the present work, we propose a novel augmentation-free SSL method for tabular data. Our approach, T-JEPA, relies on a Joint Embedding Predictive Architecture (JEPA) and is akin to mask reconstruction in the latent space. It involves predicting the latent representation of one subset of features from the latent representation of a different subset within the same sample, thereby learning rich representations without augmentations. We use our method as a pre-training technique and train several deep classifiers on the obtained representation. Our experimental results demonstrate a substantial improvement in both classification and regression tasks, outperforming models trained directly on samples in their original data space. Moreover, T-JEPA enables some methods to consistently outperform or match the performance of traditional methods likes Gradient Boosted Decision Trees. To understand why, we extensively characterize the obtained representations and show that T-JEPA effectively identifies relevant features for downstream tasks without access to the labels. Additionally, we introduce regularization tokens, a novel regularization method critical for training of JEPA-based models on structured data.
• Abstract（参考訳）: セルフスーパービジョンは、しばしば、サンプルの有意義な表現を構築することによって、下流タスクのパフォーマンスを高めるための事前トレーニングに使用される。 自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、表データの構築が困難なデータ拡張が必要である。 これは構造化データに対する自己監督の主要な課題の1つである。 本研究では,表データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。 これは、同じサンプル内の異なるサブセットの潜在表現から、ある機能の潜在表現を予測することを含み、拡張なしでリッチな表現を学ぶ。 提案手法を事前学習手法として使用し,得られた表現に基づいて深層分類器を訓練する。 実験の結果,分類タスクと回帰タスクの両方において,元のデータ空間のサンプルで直接訓練されたモデルよりも大幅に向上した。 さらに、T-JEPAは、いくつかのメソッドがGradient Boosted Decision Treesのような従来のメソッドのパフォーマンスを一貫して上回る、あるいは一致させることができる。 そこで我々は,得られた表現を広範囲に特徴付け,T-JEPAがラベルにアクセスすることなく,下流タスクに関連する特徴を効果的に識別することを示す。 さらに、構造化データ上でJEPAベースのモデルのトレーニングに不可欠な新しい正規化手法である正規化トークンを導入する。

関連論文リスト

• Long-Tailed Object Detection Pre-training: Dynamic Rebalancing Contrastive Learning with Dual Reconstruction [28.359463356384463]
  2DRCL(Dynamic Rebalance Contrastive Learning with Dual Reconstruction)と呼ばれる,オブジェクト検出のための新たな事前学習フレームワークを導入する。 提案手法は,グローバルな文脈意味論と詳細な局所パターンの両方を捉えることによって,事前学習とオブジェクト検出を一致させる,ホロスティック・ローカル・コントラスト学習機構に基づいている。 COCOおよびLVIS v1.0データセットの実験により,本手法の有効性,特に末尾クラスにおけるmAP/APスコアの改善が示された。
  論文  参考訳（メタデータ） (2024-11-14T13:59:01Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation [46.441263436298996]
  本稿では,SSSの性能向上を目的としたデータ摂動に着目した,シンプルでクリーンなアプローチを提案する。 我々は、ランダムなデータ変換数を選択する、簡易なインテンシティベースの拡張を採用する。 また,ラベル付き情報をランダムに注入して,ラベルなしサンプルを適応的に増強する。
  論文  参考訳（メタデータ） (2022-12-09T16:36:52Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。