論文の概要: Attention and Self-Attention in Random Forests

• arxiv url: http://arxiv.org/abs/2207.04293v1
• Date: Sat, 9 Jul 2022 16:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:32:52.585249
• Title: Attention and Self-Attention in Random Forests
• Title（参考訳）: ランダム林における注意と自己注意
• Authors: Lev V. Utkin and Andrei V. Konstantinov
• Abstract要約: 注意と自己注意機構を併用したランダム林の新しいモデルを提案する。 自己注意は、木の予測の依存関係を捉え、ランダムな森のノイズや異常な予測を取り除くことを目的としている。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: New models of random forests jointly using the attention and self-attention mechanisms are proposed for solving the regression problem. The models can be regarded as extensions of the attention-based random forest whose idea stems from applying a combination of the Nadaraya-Watson kernel regression and the Huber's contamination model to random forests. The self-attention aims to capture dependencies of the tree predictions and to remove noise or anomalous predictions in the random forest. The self-attention module is trained jointly with the attention module for computing weights. It is shown that the training process of attention weights is reduced to solving a single quadratic or linear optimization problem. Three modifications of the general approach are proposed and compared. A specific multi-head self-attention for the random forest is also considered. Heads of the self-attention are obtained by changing its tuning parameters including the kernel parameters and the contamination parameter of models. Numerical experiments with various datasets illustrate the proposed models and show that the supplement of the self-attention improves the model performance for many datasets.
• Abstract（参考訳）: 回帰問題の解法として,注意とセルフアテンション機構を併用したランダム林の新しいモデルを提案する。 これらのモデルは、ナダラヤ・ワトソン核回帰とハマーの汚染モデルをランダム森林に適用することに由来する注意に基づくランダム森林の拡張と見なすことができる。 このセルフアテンションは、ツリー予測の依存性を捉え、ランダムフォレストにおけるノイズや異常な予測を取り除くことを目的としている。 自己注意モジュールは、重みを計算するための注意モジュールと共同で訓練される。 注意重みのトレーニングプロセスは、単一の二次的あるいは線形最適化問題に還元されることが示されている。 一般的なアプローチの3つの修正を提案し、比較した。 ランダムな森林に対する特定の多頭部自己注意も考慮する。 モデルのカーネルパラメータと汚染パラメータを含むチューニングパラメータを変更することで、セルフアテンションのヘッドを得る。 種々のデータセットを用いた数値実験により提案したモデルを示し,自己注意の補足によって多くのデータセットのモデル性能が向上することを示す。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Neural Attention Forests: Transformer-Based Forest Improvement [4.129225533930966]
  NAFモデルの主な考え方は、無作為林に注意機構を導入することである。 注意に基づくランダムフォレストのような利用可能なモデルとは対照的に、注意重みとナダラヤ・ワトソン回帰はニューラルネットワークの形で表現される。 注意機構を実装するランダムフォレストとニューラルネットワークの組み合わせは、森林予測を強化するためのトランスフォーマーを形成する。
  論文  参考訳（メタデータ） (2023-04-12T17:01:38Z)
• Improved Anomaly Detection by Using the Attention-Based Isolation Forest [4.640835690336653]
  異常検出問題の解決を目的としたアテンションベース隔離林(ABIForest)を提案する。 主な考え方は、各木の経路に、インスタンスやツリー自体に依存する学習可能なパラメータで注意重みを割り当てることである。 ABIForestは、勾配に基づくアルゴリズムを適用することなく、注意機構を簡単な方法で組み込んだ最初の分離林の修正と見なすことができる。
  論文  参考訳（メタデータ） (2022-10-05T20:58:57Z)
• AGBoost: Attention-based Modification of Gradient Boosting Machine [0.0]
  回帰問題を解くため, AGBoost と呼ばれる勾配促進機 (GBM) の新たなアテンションベースモデルを提案する。 提案されたAGBoostモデルの背後にある主要なアイデアは、GBMの反復にトレーニング可能なパラメータで注意重みを割り当てることである。
  論文  参考訳（メタデータ） (2022-07-12T17:42:20Z)
• An Approximation Method for Fitted Random Forests [0.0]
  本研究では,葉にデータポイントを割り当てたランダムフォレストモデルを用いて,各木を近似する手法について検討した。 具体的には,多項ロジスティック回帰の適合が予測品質を保ちながらサイズを減少させるかどうかを考察することから始める。
  論文  参考訳（メタデータ） (2022-07-05T17:28:52Z)
• Attention-based Random Forest and Contamination Model [5.482532589225552]
  提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。
  論文  参考訳（メタデータ） (2022-01-08T19:35:57Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• Censored Quantile Regression Forest [81.9098291337097]
  我々は、検閲に適応し、データが検閲を示さないときに量子スコアをもたらす新しい推定方程式を開発する。 提案手法は, パラメトリックなモデリング仮定を使わずに, 時間単位の定量を推定することができる。
  論文  参考訳（メタデータ） (2020-01-08T23:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。