論文の概要: Boarding for ISS: Imbalanced Self-Supervised: Discovery of a Scaled Autoencoder for Mixed Tabular Datasets

• arxiv url: http://arxiv.org/abs/2403.15790v1
• Date: Sat, 23 Mar 2024 10:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:02:48.398793
• Title: Boarding for ISS: Imbalanced Self-Supervised: Discovery of a Scaled Autoencoder for Mixed Tabular Datasets
• Title（参考訳）: ISSのボード:不均衡な自己監視:混合タブラルデータセットのためのスケールドオートエンコーダの発見
• Authors: Samuel Stocksieker, Denys Pommeret, Arthur Charpentier,
• Abstract要約: 不均衡な自己教師付き学習の分野は、広く研究されていない。 既存の研究は主に画像データセットに焦点を当てている。 バランス学習のための新しい指標として,マルチスーパーバイザードバランスMSEを提案する。
• 参考スコア（独自算出の注目度）: 1.2289361708127877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of imbalanced self-supervised learning, especially in the context of tabular data, has not been extensively studied. Existing research has predominantly focused on image datasets. This paper aims to fill this gap by examining the specific challenges posed by data imbalance in self-supervised learning in the domain of tabular data, with a primary focus on autoencoders. Autoencoders are widely employed for learning and constructing a new representation of a dataset, particularly for dimensionality reduction. They are also often used for generative model learning, as seen in variational autoencoders. When dealing with mixed tabular data, qualitative variables are often encoded using a one-hot encoder with a standard loss function (MSE or Cross Entropy). In this paper, we analyze the drawbacks of this approach, especially when categorical variables are imbalanced. We propose a novel metric to balance learning: a Multi-Supervised Balanced MSE. This approach reduces the reconstruction error by balancing the influence of variables. Finally, we empirically demonstrate that this new metric, compared to the standard MSE: i) outperforms when the dataset is imbalanced, especially when the learning process is insufficient, and ii) provides similar results in the opposite case.
• Abstract（参考訳）: 不均衡な自己教師付き学習の分野、特に表データの文脈では、広く研究されていない。 既存の研究は主に画像データセットに焦点を当てている。 本稿では,表形式のデータ領域における自己教師型学習におけるデータ不均衡に起因する特定の課題を,主にオートエンコーダに焦点をあてることで,このギャップを埋めることを目的とする。 オートエンコーダは、特に次元削減のために、データセットの新しい表現を学習し、構築するために広く使用されている。 また、変分オートエンコーダに見られるように、生成モデル学習にもしばしば用いられる。 混合表データを扱う場合、定性的変数は標準損失関数(MSEまたはクロスエントロピー)を持つワンホットエンコーダを用いて符号化されることが多い。 本稿では,この手法の欠点,特にカテゴリー変数が不均衡である場合の解析を行う。 バランス学習のための新しい指標として,マルチスーパーバイザードバランスMSEを提案する。 このアプローチは変数の影響のバランスをとることで再構成誤差を低減する。 最後に、この新しい指標が標準のMSEと比較して実証的に証明される。 一 データセットが不均衡であるとき、特に学習過程が不十分であるとき、及び 二 反対の場合において、同様の結果を提供すること。

関連論文リスト

• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• End-to-End Supervised Multilabel Contrastive Learning [38.26579519598804]
  マルチラベル表現学習は、オブジェクトカテゴリ間のラベル依存やデータ関連の問題に関連付けられる難しい問題として認識されている。 近年の進歩は、モデルとデータ中心の視点からこれらの課題に対処している。 KMCLと呼ばれる新しいエンドツーエンドのトレーニングフレームワークを提案し、モデルとデータ中心の設計の欠点に対処する。
  論文  参考訳（メタデータ） (2023-07-08T12:46:57Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Towards Understanding How Data Augmentation Works with Imbalanced Data [17.478900028887537]
  本稿では,データ拡張が3つの異なる分類器,畳み込みニューラルネットワーク,サポートベクトルマシン,ロジスティック回帰モデルに与える影響について検討する。 本研究は,不均衡データに適用した場合,モデル重み,サポートベクトル,特徴選択に大きな変化が生じることを示す。 DAはデータの分散を促進することによって機能し、機械学習モデルがデータの変化とラベルを関連付けることができる、という仮説を立てる。
  論文  参考訳（メタデータ） (2023-04-12T15:01:22Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。