論文の概要: AGBoost: Attention-based Modification of Gradient Boosting Machine

• arxiv url: http://arxiv.org/abs/2207.05724v1
• Date: Tue, 12 Jul 2022 17:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:23:53.747946
• Title: AGBoost: Attention-based Modification of Gradient Boosting Machine
• Title（参考訳）: AGBoost: 注意に基づくグラディエントブースティングマシンの改良
• Authors: Andrei Konstantinov and Lev Utkin and Stanislav Kirpichenko
• Abstract要約: 回帰問題を解くため, AGBoost と呼ばれる勾配促進機 (GBM) の新たなアテンションベースモデルを提案する。 提案されたAGBoostモデルの背後にある主要なアイデアは、GBMの反復にトレーニング可能なパラメータで注意重みを割り当てることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new attention-based model for the gradient boosting machine (GBM) called AGBoost (the attention-based gradient boosting) is proposed for solving regression problems. The main idea behind the proposed AGBoost model is to assign attention weights with trainable parameters to iterations of GBM under condition that decision trees are base learners in GBM. Attention weights are determined by applying properties of decision trees and by using the Huber's contamination model which provides an interesting linear dependence between trainable parameters of the attention and the attention weights. This peculiarity allows us to train the attention weights by solving the standard quadratic optimization problem with linear constraints. The attention weights also depend on the discount factor as a tuning parameter, which determines how much the impact of the weight is decreased with the number of iterations. Numerical experiments performed for two types of base learners, original decision trees and extremely randomized trees with various regression datasets illustrate the proposed model.
• Abstract（参考訳）: agboost (the attention-based gradient boosting) と呼ばれるグラデーションブースティングマシン (gbm) のための新しいアテンションベースモデルが回帰問題を解決するために提案されている。 提案した AGBoost モデルの背後にある主な考え方は,GBM における決定木が基本学習者であることを条件に,トレーニング可能なパラメータによる注意重み付けを GBM の反復に割り当てることである。 注意重みは、決定木の特性を応用し、注意の訓練可能なパラメータと注意重みの間の興味深い線形依存性を提供するフーバー汚染モデルを用いて決定される。 この特異性により、線形制約付き標準二次最適化問題を解くことで注意重みを訓練することができる。 注意重み付けは、調整パラメータとしてディスカウント係数にも依存し、イテレーション数に応じて、重みの影響がどの程度減少するかを決定する。 2種類の基本学習者、原決定木、および様々な回帰データセットを持つ極端ランダム化木に対して行われた数値実験は、提案モデルを示す。

関連論文リスト

• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Improved Anomaly Detection by Using the Attention-Based Isolation Forest [4.640835690336653]
  異常検出問題の解決を目的としたアテンションベース隔離林(ABIForest)を提案する。 主な考え方は、各木の経路に、インスタンスやツリー自体に依存する学習可能なパラメータで注意重みを割り当てることである。 ABIForestは、勾配に基づくアルゴリズムを適用することなく、注意機構を簡単な方法で組み込んだ最初の分離林の修正と見なすことができる。
  論文  参考訳（メタデータ） (2022-10-05T20:58:57Z)
• Attention and Self-Attention in Random Forests [5.482532589225552]
  注意と自己注意機構を併用したランダム林の新しいモデルを提案する。 自己注意は、木の予測の依存関係を捉え、ランダムな森のノイズや異常な予測を取り除くことを目的としている。
  論文  参考訳（メタデータ） (2022-07-09T16:15:53Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Attention-based Random Forest and Contamination Model [5.482532589225552]
  提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。
  論文  参考訳（メタデータ） (2022-01-08T19:35:57Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers [82.5915112474988]
  本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。 また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T17:50:46Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Selective Cascade of Residual ExtraTrees [3.6575928994425735]
  Selective Cascade of Residual ExtraTrees (SCORE) という,木に基づく新しいアンサンブル手法を提案する。 SCOREは表現学習からインスピレーションを受け、可変選択特徴を持つ正規化回帰を取り入れ、予測の改善と一般化誤差の低減にブーストを利用する。 コンピュータ実験により、SCOREは、ExtraTrees、ランダムフォレスト、グラデーションブースティングマシン、ニューラルネットワークに対する予測において、同等または優れた性能を提供することが示された。
  論文  参考訳（メタデータ） (2020-09-29T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。