論文の概要: Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships

• arxiv url: http://arxiv.org/abs/2105.08626v1
• Date: Wed, 28 Apr 2021 20:19:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 08:15:36.039763
• Title: Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships
• Title（参考訳）: 定量的構造-活性関係の回帰法としての光勾配昇降機
• Authors: Robert P. Sheridan, Andy Liaw, Matthew Tudor
• Abstract要約: 私たちは、Light Gradient Boosting Machine(LightGBM)とランダムフォレスト、シングルタスクディープニューラルネットワーク、および30の社内データセット上のExtreme Gradient Boosting(XGBoost)を比較します。 LightGBMは、シングルタスクのディープニューラルネットワークと同じくらい正確な予測を行いますが、ランダムフォレストよりも1000倍速く、XGBoostよりも4倍速い要因です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the pharmaceutical industry, where it is common to generate many QSAR models with large numbers of molecules and descriptors, the best QSAR methods are those that can generate the most accurate predictions but that are also insensitive to hyperparameters and are computationally efficient. Here we compare Light Gradient Boosting Machine (LightGBM) to random forest, single-task deep neural nets, and Extreme Gradient Boosting (XGBoost) on 30 in-house data sets. While any boosting algorithm has many adjustable hyperparameters, we can define a set of standard hyperparameters at which LightGBM makes predictions about as accurate as single-task deep neural nets, but is a factor of 1000-fold faster than random forest and ~4-fold faster than XGBoost in terms of total computational time for the largest models. Another very useful feature of LightGBM is that it includes a native method for estimating prediction intervals.
• Abstract（参考訳）: 医薬品業界では、多数の分子や記述子を持つ多くのQSARモデルを生成するのが一般的であるが、最も優れたQSAR法は、最も正確な予測を生成できるが、ハイパーパラメータに敏感であり、計算的に効率的である。 ここでは、Light Gradient Boosting Machine(LightGBM)を、30の社内データセット上のランダムフォレスト、シングルタスクディープニューラルネット、Extreme Gradient Boosting(XGBoost)と比較する。 すべてのブースティングアルゴリズムには調整可能なハイパーパラメータが多数存在するが、光gbmがシングルタスクのディープニューラルネットワークと同じくらい精度の高い予測を行うための標準ハイパーパラメータセットを定義することはできるが、最大のモデル全体の計算時間はランダムフォレストよりも1000倍速く、xgboostよりも約4倍高速である。 LightGBMのもう1つの非常に便利な機能は、予測間隔を推定するネイティブメソッドを含んでいることである。

関連論文リスト

• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Quantile Extreme Gradient Boosting for Uncertainty Quantification [1.7685947618629572]
  Extreme Gradient Boosting (XGBoost)は、最も人気のある機械学習(ML)手法の1つである。 本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。 提案手法は, 正規および量子的光勾配向上のために生成した不確実性推定値と同等あるいは優れた性能を示した。
  論文  参考訳（メタデータ） (2023-04-23T19:46:19Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One [0.0]
  学習速度が小さいこと,1に近いハイパーパラメータ,大きなバッチサイズが,損失関数を最小化するディープニューラルネットワークのモデルパラメータを見つけることができることを示す。 その結果,Adamは一定の学習率と1に近いハイパーパラメータを用いており,SFOの複雑性を最小化する臨界バッチサイズはモメンタムや勾配勾配よりも早く収束することがわかった。
  論文  参考訳（メタデータ） (2022-08-21T06:11:23Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。