論文の概要: Soft Gradient Boosting with Learnable Feature Transforms for Sequential Regression

• arxiv url: http://arxiv.org/abs/2509.12920v1
• Date: Tue, 16 Sep 2025 10:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.02721
• Title: Soft Gradient Boosting with Learnable Feature Transforms for Sequential Regression
• Title（参考訳）: 逐次回帰のための学習可能な特徴変換を用いたソフトグラディエントブースティング
• Authors: Huseyin Karaca, Suleyman Serdar Kozat,
• Abstract要約: 本稿では,学習可能な線形特徴変換を補強手順に組み込む,逐次回帰のためのソフトグラデーションブースティングフレームワークを提案する。 各ブースティングイテレーションにおいて、ソフトな決定木をトレーニングし、線形入力特徴変換Qを一緒に学習する。 合成と実世界の両方のデータセットを用いて,本手法が効率よく効率的に性能を向上させることを実証する。
• 参考スコア（独自算出の注目度）: 4.563488428831041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a soft gradient boosting framework for sequential regression that embeds a learnable linear feature transform within the boosting procedure. At each boosting iteration, we train a soft decision tree and learn a linear input feature transform Q together. This approach is particularly advantageous in high-dimensional, data-scarce scenarios, as it discovers the most relevant input representations while boosting. We demonstrate, using both synthetic and real-world datasets, that our method effectively and efficiently increases the performance by an end-to-end optimization of feature selection/transform and boosting while avoiding overfitting. We also extend our algorithm to differentiable non-linear transforms if overfitting is not a problem. To support reproducibility and future work, we share our code publicly.
• Abstract（参考訳）: 本稿では,学習可能な線形特徴変換を補強手順に組み込む,逐次回帰のためのソフトグラデーションブースティングフレームワークを提案する。 各ブースティングイテレーションにおいて、ソフトな決定木をトレーニングし、線形入力特徴変換Qを一緒に学習する。 このアプローチは特に高次元のデータスカースシナリオにおいて有利であり、ブースティング中に最も関連性の高い入力表現を発見する。 合成と実世界の両方のデータセットを用いて、オーバーフィッティングを回避しつつ、特徴選択/変換と強化のエンドツーエンド最適化により、本手法が効率よく効率良く性能を向上させることを実証する。 また、オーバーフィッティングが問題にならない場合、アルゴリズムを微分可能な非線形変換に拡張する。 再現性と今後の作業をサポートするため、コードを公開しています。

関連論文リスト

• Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization [17.588657338437812]
  グラフ駆動経路最適化により特徴工学を自動化する多エージェント強化学習フレームワークであるTCTOを提案する。 フレームワークの中核的なイノベーションは、ノードとしての特徴をモデル化し、エッジとして変換する、進化する相互作用グラフにある。 包括的実験とケーススタディを行い、さまざまなデータセットで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-04-24T08:16:13Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
  本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。 本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
  論文  参考訳（メタデータ） (2021-06-25T15:28:48Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Slowly Varying Regression under Sparsity [5.22980614912553]
  本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。 本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。 結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-22T04:51:44Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
  本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。 古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。 我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
  論文  参考訳（メタデータ） (2020-03-04T15:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。