論文の概要: Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later

• arxiv url: http://arxiv.org/abs/2407.03257v1
• Date: Wed, 3 Jul 2024 16:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:17:22.547371
• Title: Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later
• Title（参考訳）: 最近の隣り合わせの成分分析:2年後の深部タブラルベースライン
• Authors: Han-Jia Ye, Huai-Hong Yin, De-Chuan Zhan,
• Abstract要約: 我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
• 参考スコア（独自算出の注目度）: 59.88557193062348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing success of deep learning in various domains has prompted investigations into its application to tabular data, where deep models have shown promising results compared to traditional tree-based methods. In this paper, we revisit Neighborhood Component Analysis (NCA), a classic tabular prediction method introduced in 2004, designed to learn a linear projection that captures semantic similarities between instances. We find that minor modifications, such as adjustments to the learning objectives and the integration of deep learning architectures, significantly enhance NCA's performance, enabling it to surpass most modern deep tabular models. Additionally, we introduce a stochastic neighbor sampling strategy that improves both the efficiency and predictive accuracy of our proposed ModernNCA -- sampling only a subset of neighbors during training, while utilizing the entire neighborhood during inference. Extensive experiments demonstrate that our ModernNCA achieves state-of-the-art results in both classification and regression tasks across various tabular datasets, outperforming both tree-based and other deep tabular models, while also reducing training time and model size.
• Abstract（参考訳）: 様々な分野におけるディープラーニングの成功の高まりは、従来の木に基づく手法と比較して、深層モデルが有望な結果を示した表型データへの適用を調査するきっかけとなっている。 本稿では,2004年に導入された古典的な表形式予測手法であるNorborhood Component Analysis (NCA)を再検討する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整により,NAAの性能が大幅に向上し,最新の深層表形式モデルを上回ることが確認された。 さらに,提案するModernNCAの効率性と予測精度を向上する確率的隣人サンプリング戦略を導入する。 大規模な実験により、我々のModernNCAは、様々な表型データセットの分類と回帰タスクの両方において最先端の結果を達成し、ツリーベースおよび他の深い表型モデルよりも優れ、トレーニング時間とモデルサイズも減少することを示した。

関連論文リスト

• iNeMo: Incremental Neural Mesh Models for Robust Class-Incremental Learning [22.14627083675405]
  我々は、時間とともに新しいメッシュで拡張できるインクリメンタルニューラルネットワークモデルを提案する。 本研究では,Pascal3DおよびObjectNet3Dデータセットの広範な実験を通して,本手法の有効性を実証する。 我々の研究は、ポーズ推定のための最初の漸進的な学習手法も提示している。
  論文  参考訳（メタデータ） (2024-07-12T13:57:49Z)
• Boosting gets full Attention for Relational Learning [27.82663283409287]
  本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。 シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
  論文  参考訳（メタデータ） (2024-02-22T19:16:01Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Sequential Ensembling for Semantic Segmentation [4.030520171276982]
  我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。 そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-08T22:13:59Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels [6.372625755672473]
  本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。 通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
  論文  参考訳（メタデータ） (2022-06-25T06:13:27Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Empirical evaluation of shallow and deep learning classifiers for Arabic sentiment analysis [1.1172382217477126]
  本研究は、アラビア語レビューの感情分析のためのディープラーニングモデルの性能を詳細に比較したものである。 この研究で使用されるデータセットは、アラビア語のホテルと本レビューデータセットである。 その結果,2次・複数ラベル分類では深層学習が浅層学習より優れており,文献で報告された同様の研究結果とは対照的であった。
  論文  参考訳（メタデータ） (2021-12-01T14:45:43Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。