論文の概要: Attention-based Random Forest and Contamination Model

• arxiv url: http://arxiv.org/abs/2201.02880v1
• Date: Sat, 8 Jan 2022 19:35:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 14:21:55.267470
• Title: Attention-based Random Forest and Contamination Model
• Title（参考訳）: 注意に基づくランダム森林と汚染モデル
• Authors: Lev V. Utkin and Andrei V. Konstantinov
• Abstract要約: 提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new approach called ABRF (the attention-based random forest) and its modifications for applying the attention mechanism to the random forest (RF) for regression and classification are proposed. The main idea behind the proposed ABRF models is to assign attention weights with trainable parameters to decision trees in a specific way. The weights depend on the distance between an instance, which falls into a corresponding leaf of a tree, and instances, which fall in the same leaf. This idea stems from representation of the Nadaraya-Watson kernel regression in the form of a RF. Three modifications of the general approach are proposed. The first one is based on applying the Huber's contamination model and on computing the attention weights by solving quadratic or linear optimization problems. The second and the third modifications use the gradient-based algorithms for computing trainable parameters. Numerical experiments with various regression and classification datasets illustrate the proposed method.
• Abstract（参考訳）: abrf (the attention-based random forest) と呼ばれる新しいアプローチと, 回帰と分類のためにランダム林 (rf) に注意機構を適用するための修正を提案する。 提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。 この考え方は、nadaraya-watson核回帰をrfの形で表現することに由来する。 一般的なアプローチの3つの変更が提案されている。 1つは、フーバーの汚染モデルを適用し、二次最適化や線形最適化の問題を解くことで注意重みを計算することに基づいている。 第2および第3の修正は、トレーニング可能なパラメータの計算に勾配に基づくアルゴリズムを使用する。 様々な回帰および分類データセットを用いた数値実験は,提案手法を例証する。

関連論文リスト

• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Neural Attention Forests: Transformer-Based Forest Improvement [4.129225533930966]
  NAFモデルの主な考え方は、無作為林に注意機構を導入することである。 注意に基づくランダムフォレストのような利用可能なモデルとは対照的に、注意重みとナダラヤ・ワトソン回帰はニューラルネットワークの形で表現される。 注意機構を実装するランダムフォレストとニューラルネットワークの組み合わせは、森林予測を強化するためのトランスフォーマーを形成する。
  論文  参考訳（メタデータ） (2023-04-12T17:01:38Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• LARF: Two-level Attention-based Random Forests with a Mixture of Contamination Models [5.482532589225552]
  LARF(Leaf Attention-based Random Forest)と呼ばれる注意に基づくランダム林の新しいモデルを提案する。 最初のアイデアは2段階の注意を導入することであり、その1つのレベルが「葉」の注意であり、すべての木の葉に注意機構が適用される。 第2のアイデアは、注意点におけるソフトマックス演算を、異なるパラメータによるソフトマックス演算の重み付け和に置き換えることである。
  論文  参考訳（メタデータ） (2022-10-11T06:14:12Z)
• Improved Anomaly Detection by Using the Attention-Based Isolation Forest [4.640835690336653]
  異常検出問題の解決を目的としたアテンションベース隔離林(ABIForest)を提案する。 主な考え方は、各木の経路に、インスタンスやツリー自体に依存する学習可能なパラメータで注意重みを割り当てることである。 ABIForestは、勾配に基づくアルゴリズムを適用することなく、注意機構を簡単な方法で組み込んだ最初の分離林の修正と見なすことができる。
  論文  参考訳（メタデータ） (2022-10-05T20:58:57Z)
• AGBoost: Attention-based Modification of Gradient Boosting Machine [0.0]
  回帰問題を解くため, AGBoost と呼ばれる勾配促進機 (GBM) の新たなアテンションベースモデルを提案する。 提案されたAGBoostモデルの背後にある主要なアイデアは、GBMの反復にトレーニング可能なパラメータで注意重みを割り当てることである。
  論文  参考訳（メタデータ） (2022-07-12T17:42:20Z)
• Attention and Self-Attention in Random Forests [5.482532589225552]
  注意と自己注意機構を併用したランダム林の新しいモデルを提案する。 自己注意は、木の予測の依存関係を捉え、ランダムな森のノイズや異常な予測を取り除くことを目的としている。
  論文  参考訳（メタデータ） (2022-07-09T16:15:53Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。