論文の概要: Neural Attention Forests: Transformer-Based Forest Improvement

• arxiv url: http://arxiv.org/abs/2304.05980v1
• Date: Wed, 12 Apr 2023 17:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 14:16:32.495531
• Title: Neural Attention Forests: Transformer-Based Forest Improvement
• Title（参考訳）: ニューラルアテンション林:トランスフォーマーによる森林改良
• Authors: Andrei V. Konstantinov, Lev V. Utkin, Alexey A. Lukashin, Vladimir A. Muliukha
• Abstract要約: NAFモデルの主な考え方は、無作為林に注意機構を導入することである。 注意に基づくランダムフォレストのような利用可能なモデルとは対照的に、注意重みとナダラヤ・ワトソン回帰はニューラルネットワークの形で表現される。 注意機構を実装するランダムフォレストとニューラルネットワークの組み合わせは、森林予測を強化するためのトランスフォーマーを形成する。
• 参考スコア（独自算出の注目度）: 4.129225533930966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new approach called NAF (the Neural Attention Forest) for solving regression and classification tasks under tabular training data is proposed. The main idea behind the proposed NAF model is to introduce the attention mechanism into the random forest by assigning attention weights calculated by neural networks of a specific form to data in leaves of decision trees and to the random forest itself in the framework of the Nadaraya-Watson kernel regression. In contrast to the available models like the attention-based random forest, the attention weights and the Nadaraya-Watson regression are represented in the form of neural networks whose weights can be regarded as trainable parameters. The first part of neural networks with shared weights is trained for all trees and computes attention weights of data in leaves. The second part aggregates outputs of the tree networks and aims to minimize the difference between the random forest prediction and the truth target value from a training set. The neural network is trained in an end-to-end manner. The combination of the random forest and neural networks implementing the attention mechanism forms a transformer for enhancing the forest predictions. Numerical experiments with real datasets illustrate the proposed method. The code implementing the approach is publicly available.
• Abstract（参考訳）: NAF(Neural Attention Forest)と呼ばれる新しい手法を提案する。 提案するnafモデルの主な考え方は,特定の形態のニューラルネットワークによって計算された注意重みを決定木の葉のデータと,ナダラヤ・ワトソン核回帰の枠組みでランダム林自身に割り当てることで,ランダム林への注意重み付け機構を導入することである。 注意に基づくランダムフォレストのような利用可能なモデルとは対照的に、注意重みとナダラヤ・ワッソン回帰は、学習可能なパラメータと見なすことができるニューラルネットワークの形で表現される。 共有重み付きニューラルネットワークの第1部は、すべての木に対してトレーニングされ、データの注意重みを葉で計算します。 第2部は、木ネットワークの出力を集約し、ランダム森林予測とトレーニングセットの真理目標値との差を最小限にすることを目的とする。 ニューラルネットワークはエンドツーエンドでトレーニングされる。 注意機構を実装するランダムフォレストとニューラルネットワークの組み合わせは、森林予測を強化するためのトランスフォーマーを形成する。 実データを用いた数値実験は,提案手法を例証する。 このアプローチを実装するコードは公開されている。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• SurvBeNIM: The Beran-Based Neural Importance Model for Explaining the Survival Models [2.4861619769660637]
  Survival Beran-based Neural Importance Model (SurvBeNIM) と呼ばれる新しい手法を提案する。 それは、生存または累積的ハザード関数の形で、機械学習サバイバルモデルの予測を説明することを目的としている。
  論文  参考訳（メタデータ） (2023-12-11T18:54:26Z)
• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Attention and Self-Attention in Random Forests [5.482532589225552]
  注意と自己注意機構を併用したランダム林の新しいモデルを提案する。 自己注意は、木の予測の依存関係を捉え、ランダムな森のノイズや異常な予測を取り除くことを目的としている。
  論文  参考訳（メタデータ） (2022-07-09T16:15:53Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Attention-based Random Forest and Contamination Model [5.482532589225552]
  提案されたABRFモデルの背後にある主要なアイデアは、特定の方法で決定木にトレーニング可能なパラメータで注意重みを割り当てることである。 重みは、木の対応する葉に落ちるインスタンスと、同じ葉に落ちるインスタンスとの距離に依存する。
  論文  参考訳（メタデータ） (2022-01-08T19:35:57Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Neural Random Forest Imitation [24.02961053662835]
  我々は、ランダムな森林からトレーニングデータを生成し、その振る舞いを模倣するニューラルネットワークを学習することで、模倣学習アプローチを導入する。 この暗黙的な変換は、ランダムな森林の決定境界を学習する非常に効率的なニューラルネットワークを生成する。 いくつかの実世界のベンチマークデータセットの実験は、優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2019-11-25T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。