論文の概要: APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning

• arxiv url: http://arxiv.org/abs/2412.10941v1
• Date: Sat, 14 Dec 2024 19:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:28.691764
• Title: APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning
• Title（参考訳）: APAR:不規則なターゲット関数のモデル化 : 算術的な事前訓練と適応規則化ファインチューニング
• Authors: Hong-Wei Wu, Wei-Yao Wang, Kuang-Da Wang, Wen-Chih Peng,
• Abstract要約: APAR(Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning framework)を提案する。 事前学習フェーズでは、APARは、連続ラベルの観点から複雑なサンプル-ワイド関係をキャプチャするための算術的な事前文の目的を導入している。 微調整フェーズでは、自己学習に適したデータ拡張のために、一貫性に基づく適応正規化手法が提案されている。
• 参考スコア（独自算出の注目度）: 12.35924469567586
• License:
• Abstract: Tabular data are fundamental in common machine learning applications, ranging from finance to genomics and healthcare. This paper focuses on tabular regression tasks, a field where deep learning (DL) methods are not consistently superior to machine learning (ML) models due to the challenges posed by irregular target functions inherent in tabular data, causing sensitive label changes with minor variations from features. To address these issues, we propose a novel Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning framework (APAR), which enables the model to fit irregular target function in tabular data while reducing the negative impact of overfitting. In the pre-training phase, APAR introduces an arithmetic-aware pretext objective to capture intricate sample-wise relationships from the perspective of continuous labels. In the fine-tuning phase, a consistency-based adaptive regularization technique is proposed to self-learn appropriate data augmentation. Extensive experiments across 10 datasets demonstrated that APAR outperforms existing GBDT-, supervised NN-, and pretrain-finetune NN-based methods in RMSE (+9.43% $\sim$ 20.37%), and empirically validated the effects of pre-training tasks, including the study of arithmetic operations. Our code and data are publicly available at https://github.com/johnnyhwu/APAR.
• Abstract（参考訳）: タブラルデータは、ファイナンスからゲノミクス、ヘルスケアまで、一般的な機械学習アプリケーションにおいて基本的なものだ。 本稿では,表層データに固有の不規則なターゲット関数によって生じる課題から,ディープラーニング(DL)手法が機械学習(ML)モデルより一貫して優れているとは言い難い分野である表層回帰タスクに焦点をあてる。 これらの問題に対処するため、我々はAPAR(Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning framework)を提案する。 事前学習フェーズでは、APARは、連続ラベルの観点から複雑なサンプル-ワイド関係をキャプチャするための算術的な事前文の目的を導入している。 微調整フェーズでは、自己学習に適したデータ拡張のために、一貫性に基づく適応正規化手法が提案されている。 10個のデータセットにわたる大規模な実験により、APARはRMSE(+9.43%$\sim$ 20.37%)の既存のGBDT-、教師付きNN-およびプレトレインファインチューンNNベースの手法より優れており、算術演算を含む事前訓練タスクの効果を実証的に検証した。 私たちのコードとデータはhttps://github.com/johnnyhwu/APAR.comで公開されています。

関連論文リスト

• Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
  本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。 APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。 筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
  論文  参考訳（メタデータ） (2025-02-06T23:58:11Z)
• Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
  Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning [17.38478179159257]
  軽度な特徴相互作用を仮定した合成データセットを作成する。 本稿では,AMFormerと呼ばれる数値的特徴相互作用を実現する改良型トランスフォーマーアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-02-04T04:07:39Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。