Fugu-MT 論文翻訳(概要): Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs

論文の概要: Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs

arxiv url: http://arxiv.org/abs/2306.15661v1
Date: Tue, 27 Jun 2023 17:55:31 GMT
ステータス: 処理完了
システム内更新日: 2023-06-28 12:11:50.333248
Title: Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs
Title（参考訳）: 高次元小語彙データにおける表現学習の強化:組込みVAEを用いた分法とコンカレント法
Authors: Navindu Leelarathna, Andrei Margeloiu, Mateja Jamnik, Nikola Simidjievski
Abstract要約: 特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
参考スコア（独自算出の注目度）: 7.923088041693465
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Variational Autoencoders and their many variants have displayed impressive ability to perform dimensionality reduction, often achieving state-of-the-art performance. Many current methods however, struggle to learn good representations in High Dimensional, Low Sample Size (HDLSS) tasks, which is an inherently challenging setting. We address this challenge by using an ensemble of lightweight VAEs to learn posteriors over subsets of the feature-space, which get aggregated into a joint posterior in a novel divide-and-conquer approach. Specifically, we present an alternative factorisation of the joint posterior that induces a form of implicit data augmentation that yields greater sample efficiency. Through a series of experiments on eight real-world datasets, we show that our method learns better latent representations in HDLSS settings, which leads to higher accuracy in a downstream classification task. Furthermore, we verify that our approach has a positive effect on disentanglement and achieves a lower estimated Total Correlation on learnt representations. Finally, we show that our approach is robust to partial features at inference, exhibiting little performance degradation even with most features missing.
Abstract（参考訳）: 変分オートエンコーダとその多くの変種は、次元を減少させる素晴らしい能力を示し、しばしば最先端のパフォーマンスを達成している。しかし、現在の多くの手法では、HDLSS(High dimensional, Low Sample Size)タスクで良い表現を学ぶのに苦労している。この課題に対処するために,軽量vaesのアンサンブルを用いて特徴空間の部分集合の後方を学習し,新しい分割・結合アプローチで後方に集約する。具体的には、より優れたサンプル効率をもたらす暗黙的データ拡張の形式を誘導する関節後部の代替因子化を提案する。 8つの実世界のデータセットに関する一連の実験を通じて,提案手法はhdlss設定でより優れた潜在表現を学習し,下流分類タスクにおいて高い精度をもたらすことを示した。さらに,このアプローチが不等角化にポジティブな影響を与えることを検証し,学習表現に対する推定総相関を低下させる。最後に,提案手法は部分的機能に対して頑健であり,ほとんどの機能が欠落していても,性能劣化が少ないことを示す。

関連論文リスト

Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-24T15:13:53Z)
Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
論文参考訳（メタデータ） (2024-03-19T18:57:53Z)
Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning [11.415864885658435]
本稿では,情報理論に基づく新しい手法であるセマンティック・保存特徴分割(SPFP)アルゴリズムを紹介する。 SPFPアルゴリズムは、データセットを複数のセマンティックな一貫したビューに効果的に分割し、マルチビューアンサンブル学習プロセスを強化する。モデル精度を維持しつつ、高い一般化性能が達成可能なシナリオにおける不確実性対策を大幅に改善する。
論文参考訳（メタデータ） (2024-01-11T20:44:45Z)
Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning [57.83232242068982]
データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
論文参考訳（メタデータ） (2023-05-25T15:46:20Z)
ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文参考訳（メタデータ） (2022-10-27T02:55:15Z)
Adversarial Lagrangian Integrated Contrastive Embedding for Limited Size Datasets [8.926248371832852]
本研究では,小さなデータセットに対する新しい逆ラグランジアン統合コントラスト埋め込み(ALICE)法を提案する。提案手法の精度向上とトレーニング収束性を示す。種々の拡張手法を用いた新しい対角統合コントラストモデルについて検討した。
論文参考訳（メタデータ） (2022-10-06T23:59:28Z)
Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文参考訳（メタデータ） (2021-06-15T10:49:46Z)
Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
論文参考訳（メタデータ） (2020-07-18T09:48:29Z)
Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。私たちのフレームワークは、サンプル間の関係をよく保存します。サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文参考訳（メタデータ） (2020-07-11T10:57:45Z)
Minimizing FLOPs to Learn Efficient Sparse Representations [36.24540913526988]
密度埋め込みと類似の表現能力を持つ高次元およびスパース表現を学習する。我々のアプローチは他のベースラインと競合し、実用的なデータセット上で同様の、あるいはより優れたスピードvs精度のトレードオフをもたらす。
論文参考訳（メタデータ） (2020-04-12T18:09:02Z)
Multi-Person Pose Estimation with Enhanced Feature Aggregation and Selection [33.15192824888279]
複数人物のポーズ推定のためのEFASNet(Enhanced Feature Aggregation and Selection Network)を提案する。我々の手法は、混み合った、散らばった、ぎこちないシーンをうまく扱える。総合的な実験により、提案手法は最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-03-20T08:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。