論文の概要: LARF: Two-level Attention-based Random Forests with a Mixture of Contamination Models

• arxiv url: http://arxiv.org/abs/2210.05168v1
• Date: Tue, 11 Oct 2022 06:14:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:34:30.080324
• Title: LARF: Two-level Attention-based Random Forests with a Mixture of Contamination Models
• Title（参考訳）: LARF:汚染モデルを混合した2レベル注意型ランダム林
• Authors: Andrei V. Konstantinov and Lev V. Utkin
• Abstract要約: LARF(Leaf Attention-based Random Forest)と呼ばれる注意に基づくランダム林の新しいモデルを提案する。 最初のアイデアは2段階の注意を導入することであり、その1つのレベルが「葉」の注意であり、すべての木の葉に注意機構が適用される。 第2のアイデアは、注意点におけるソフトマックス演算を、異なるパラメータによるソフトマックス演算の重み付け和に置き換えることである。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: New models of the attention-based random forests called LARF (Leaf Attention-based Random Forest) are proposed. The first idea behind the models is to introduce a two-level attention, where one of the levels is the "leaf" attention and the attention mechanism is applied to every leaf of trees. The second level is the tree attention depending on the "leaf" attention. The second idea is to replace the softmax operation in the attention with the weighted sum of the softmax operations with different parameters. It is implemented by applying a mixture of the Huber's contamination models and can be regarded as an analog of the multi-head attention with "heads" defined by selecting a value of the softmax parameter. Attention parameters are simply trained by solving the quadratic optimization problem. To simplify the tuning process of the models, it is proposed to make the tuning contamination parameters to be training and to compute them by solving the quadratic optimization problem. Many numerical experiments with real datasets are performed for studying LARFs. The code of proposed algorithms can be found in https://github.com/andruekonst/leaf-attention-forest.
• Abstract（参考訳）: LARF(Leaf Attention-based Random Forest)と呼ばれる注意に基づくランダム林の新しいモデルを提案する。 モデルの背後にある最初のアイデアは、2段階の注意の導入であり、その中の1つは「リーフ」の注意であり、各木の葉に注意のメカニズムが適用される。 第二のレベルは「葉」の注意による木の注意である。 2つ目のアイデアは、注意のソフトマックス操作を異なるパラメータによるソフトマックス操作の重み付け和に置き換えることである。 これはフーバーの汚染モデルの混合を適用して実装され、softmaxパラメータの値を選択することで定義された"ヘッド"とマルチヘッド注意の類似物と見なすことができる。 注意パラメータは2次最適化問題の解法によって単純に訓練される。 モデルのチューニングプロセスを簡略化するため,2次最適化問題を解くことにより,トレーニング対象の汚染パラメータを調整し,それらを計算することを提案する。 実データセットを用いた多くの数値実験がLARFの研究のために実施されている。 提案されたアルゴリズムのコードはhttps://github.com/andruekonst/leaf-attention-forestにある。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Improved Anomaly Detection by Using the Attention-Based Isolation Forest [4.640835690336653]
  異常検出問題の解決を目的としたアテンションベース隔離林(ABIForest)を提案する。 主な考え方は、各木の経路に、インスタンスやツリー自体に依存する学習可能なパラメータで注意重みを割り当てることである。 ABIForestは、勾配に基づくアルゴリズムを適用することなく、注意機構を簡単な方法で組み込んだ最初の分離林の修正と見なすことができる。
  論文  参考訳（メタデータ） (2022-10-05T20:58:57Z)
• Attention and Self-Attention in Random Forests [5.482532589225552]
  注意と自己注意機構を併用したランダム林の新しいモデルを提案する。 自己注意は、木の予測の依存関係を捉え、ランダムな森のノイズや異常な予測を取り除くことを目的としている。
  論文  参考訳（メタデータ） (2022-07-09T16:15:53Z)
• An Approximation Method for Fitted Random Forests [0.0]
  本研究では,葉にデータポイントを割り当てたランダムフォレストモデルを用いて,各木を近似する手法について検討した。 具体的には,多項ロジスティック回帰の適合が予測品質を保ちながらサイズを減少させるかどうかを考察することから始める。
  論文  参考訳（メタデータ） (2022-07-05T17:28:52Z)
• Attention-based Random Forest and Contamination Model [5.482532589225552]
  提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。
  論文  参考訳（メタデータ） (2022-01-08T19:35:57Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)
• Set Based Stochastic Subsampling [85.5331107565578]
  本稿では,2段階間ニューラルサブサンプリングモデルを提案する。 画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-25T07:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。