論文の概要: Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later

• arxiv url: http://arxiv.org/abs/2407.03257v1
• Date: Wed, 3 Jul 2024 16:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:17:22.547371
• Title: Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later
• Title（参考訳）: 最近の隣り合わせの成分分析:2年後の深部タブラルベースライン
• Authors: Han-Jia Ye, Huai-Hong Yin, De-Chuan Zhan,
• Abstract要約: 我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
• 参考スコア（独自算出の注目度）: 59.88557193062348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing success of deep learning in various domains has prompted investigations into its application to tabular data, where deep models have shown promising results compared to traditional tree-based methods. In this paper, we revisit Neighborhood Component Analysis (NCA), a classic tabular prediction method introduced in 2004, designed to learn a linear projection that captures semantic similarities between instances. We find that minor modifications, such as adjustments to the learning objectives and the integration of deep learning architectures, significantly enhance NCA's performance, enabling it to surpass most modern deep tabular models. Additionally, we introduce a stochastic neighbor sampling strategy that improves both the efficiency and predictive accuracy of our proposed ModernNCA -- sampling only a subset of neighbors during training, while utilizing the entire neighborhood during inference. Extensive experiments demonstrate that our ModernNCA achieves state-of-the-art results in both classification and regression tasks across various tabular datasets, outperforming both tree-based and other deep tabular models, while also reducing training time and model size.
• Abstract（参考訳）: 様々な分野におけるディープラーニングの成功の高まりは、従来の木に基づく手法と比較して、深層モデルが有望な結果を示した表型データへの適用を調査するきっかけとなっている。 本稿では,2004年に導入された古典的な表形式予測手法であるNorborhood Component Analysis (NCA)を再検討する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整により,NAAの性能が大幅に向上し,最新の深層表形式モデルを上回ることが確認された。 さらに,提案するModernNCAの効率性と予測精度を向上する確率的隣人サンプリング戦略を導入する。 大規模な実験により、我々のModernNCAは、様々な表型データセットの分類と回帰タスクの両方において最先端の結果を達成し、ツリーベースおよび他の深い表型モデルよりも優れ、トレーニング時間とモデルサイズも減少することを示した。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Enhancing binary classification: A new stacking method via leveraging computational geometry [5.906199156511947]
  本稿では,計算幾何学的手法,特に最大重み付き矩形問題の解法を統合した新しいメタモデルを提案する。 本手法は複数のオープンデータセットを用いて評価し,その安定性と精度の向上を示す統計解析を行った。 本手法は, アンサンブル学習の積み重ねだけでなく, 病院の健康評価評価や銀行信用評価システムなど, 様々な実世界の応用にも応用できる。
  論文  参考訳（メタデータ） (2024-10-30T06:11:08Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Deep Companion Learning: Enhancing Generalization Through Historical Consistency [35.5237083057451]
  本稿では,不整合モデル予測をペナライズすることによって一般化を促進するディープニューラルネットワーク(DNN)の新たなトレーニング手法を提案する。 我々は、新しい入力の予測を提供するために、以前のバージョンのモデルを用いて、ディープコンパニオンモデル(DCM)を訓練する。 このコンパニオンモデルは、データ内の有意義な潜在意味構造を解読し、ターゲットの監視を提供する。
  論文  参考訳（メタデータ） (2024-07-26T15:31:13Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels [6.372625755672473]
  本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。 通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
  論文  参考訳（メタデータ） (2022-06-25T06:13:27Z)
• Empirical evaluation of shallow and deep learning classifiers for Arabic sentiment analysis [1.1172382217477126]
  本研究は、アラビア語レビューの感情分析のためのディープラーニングモデルの性能を詳細に比較したものである。 この研究で使用されるデータセットは、アラビア語のホテルと本レビューデータセットである。 その結果,2次・複数ラベル分類では深層学習が浅層学習より優れており,文献で報告された同様の研究結果とは対照的であった。
  論文  参考訳（メタデータ） (2021-12-01T14:45:43Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。