論文の概要: PTaRL: Prototype-based Tabular Representation Learning via Space Calibration

• arxiv url: http://arxiv.org/abs/2407.05364v1
• Date: Sun, 7 Jul 2024 13:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 19:57:34.675497
• Title: PTaRL: Prototype-based Tabular Representation Learning via Space Calibration
• Title（参考訳）: PTaRL:空間校正によるプロトタイプベース語彙表現学習
• Authors: Hangting Ye, Wei Fan, Xiaozhuang Song, Shun Zheng, He Zhao, Dandan Guo, Yi Chang,
• Abstract要約: タブラルデータは、医療、エンジニアリング、金融など、さまざまな現実世界の分野において、主に重要な役割を担っている。 近年のディープラーニングの成功により、ディープネットワーク(Transformer、ResNetなど)に基づく機械学習(ML)メソッドの多くは、ベンチマーク上での競合的なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 20.981701208048342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data have been playing a mostly important role in diverse real-world fields, such as healthcare, engineering, finance, etc. With the recent success of deep learning, many tabular machine learning (ML) methods based on deep networks (e.g., Transformer, ResNet) have achieved competitive performance on tabular benchmarks. However, existing deep tabular ML methods suffer from the representation entanglement and localization, which largely hinders their prediction performance and leads to performance inconsistency on tabular tasks. To overcome these problems, we explore a novel direction of applying prototype learning for tabular ML and propose a prototype-based tabular representation learning framework, PTaRL, for tabular prediction tasks. The core idea of PTaRL is to construct prototype-based projection space (P-Space) and learn the disentangled representation around global data prototypes. Specifically, PTaRL mainly involves two stages: (i) Prototype Generation, that constructs global prototypes as the basis vectors of P-Space for representation, and (ii) Prototype Projection, that projects the data samples into P-Space and keeps the core global data information via Optimal Transport. Then, to further acquire the disentangled representations, we constrain PTaRL with two strategies: (i) to diversify the coordinates towards global prototypes of different representations within P-Space, we bring up a diversification constraint for representation calibration; (ii) to avoid prototype entanglement in P-Space, we introduce a matrix orthogonalization constraint to ensure the independence of global prototypes. Finally, we conduct extensive experiments in PTaRL coupled with state-of-the-art deep tabular ML models on various tabular benchmarks and the results have shown our consistent superiority.
• Abstract（参考訳）: タブラルデータは、医療、エンジニアリング、金融など、さまざまな現実世界の分野において、主に重要な役割を担っている。 近年のディープラーニングの成功により、ディープネットワーク(例えば、Transformer、ResNet)に基づく多くの表層機械学習(ML)メソッドが、表層ベンチマークで競合的なパフォーマンスを達成した。 しかし、既存の深層表型ML手法は表現の絡み合いや局所化に悩まされ、予測性能が損なわれ、表型タスクのパフォーマンスに矛盾が生じる。 これらの問題を解決するために,表型MLにプロトタイプ学習を適用する新たな方向を探り,表型予測タスクのためのプロトタイプベースの表型表現学習フレームワークであるPTaRLを提案する。 PTaRLの中核となる考え方は、プロトタイプベースの射影空間(P-Space)を構築し、グローバルなデータプロトタイプの周囲に絡み合った表現を学ぶことである。 具体的には、PTaRLは主に2つの段階を含む。 一 表現のためのP空間の基底ベクトルとしてグローバルプロトタイプを構築するプロトタイプ生成及び (ii)P-Spaceにデータサンプルを投影し,コアとなるグローバルデータ情報をOptimal Transport経由で保持するプロトタイプ・プロジェクション。 そして、不整合表現をさらに獲得するために、PTaRLを2つの戦略で制約する。 (i)P空間内の異なる表現のグローバルプロトタイプに向けて座標を多様化するために、表現校正のための多様化制約を提起する。 2) P-空間におけるプロトタイプの絡み合いを避けるため,グローバルプロトタイプの独立性を確保するために行列直交化制約を導入する。 最後に、PTaRLと最先端の深い表型MLモデルを組み合わせた様々な表型ベンチマーク実験を行い、その結果、一貫した優位性を示した。

関連論文リスト

• EPL: Empirical Prototype Learning for Deep Face Recognition [29.2176687820726]
  プロトタイプ学習は顔認識において広く使われており、各クラスのプロトタイプとして係数行列の行ベクトルを用いる。 本稿では,各クラスにおけるサンプル機能の期待値としてプロトタイプを定義し,データセットに既存のサンプルを用いて経験的プロトタイプを設計する。 本稿では,サンプル特徴量に対する適応的マージンパラメータを用いた経験的プロトタイプ学習(EPL)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-21T01:55:33Z)
• Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models [19.683461002518147]
  Test-Time Prototype Shifting (TPS)は、未ラベルのテスト入力を使用したデータセットのテストに視覚言語モデルを適用するために設計された先駆的なアプローチである。 TPSは、その後の予測のために最適化不要なプロトタイプの再利用を促進するだけでなく、プロンプトエンジニアリングにおける現在の進歩とシームレスに統合することを可能にする。 我々のフレームワークの特筆すべき点は、従来のテキストプロンプトチューニング手法と比較して、メモリと計算要求が大幅に削減されていることである。
  論文  参考訳（メタデータ） (2024-03-19T17:54:34Z)
• Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
  フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T02:36:16Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Pointerformer: Deep Reinforced Multi-Pointer Transformer for the Traveling Salesman Problem [67.32731657297377]
  トラベリングセールスマン問題(TSP)は、もともと輸送と物流の領域で発生した古典的な経路最適化問題である。 近年, 深層強化学習は高い推論効率のため, TSP の解法として採用されている。 本稿では,多点変換器をベースとした新しいエンドツーエンドDRL手法であるPointerformerを提案する。
  論文  参考訳（メタデータ） (2023-04-19T03:48:32Z)
• Deep Incomplete Multi-view Clustering with Cross-view Partial Sample and Prototype Alignment [50.82982601256481]
  深層不完全なマルチビュークラスタリングのためのクロスビュー部分サンプルとプロトタイプアライメントネットワーク(CPSPAN)を提案する。 従来のコントラストベースの手法とは異なり、インスタンスとインスタンスの対応構築を導くために、ペア観測データアライメントを「プロキシ監視信号」として採用する。
  論文  参考訳（メタデータ） (2023-03-28T02:31:57Z)
• Coded Residual Transform for Generalizable Deep Metric Learning [34.100840501900706]
  我々は,その一般化能力を大幅に向上させるために,深度学習のための符号化残差変換(CRT)と呼ばれる新しい手法を提案する。 CRTは、多彩なプロトタイプへのプロジェクションに基づいた補完的な視点のセットからフィーチャーマップを表現し、エンコードする。 実験結果とアブレーション実験により,提案手法は最先端の深層学習法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T06:17:31Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。