論文の概要: Boosting gets full Attention for Relational Learning

• arxiv url: http://arxiv.org/abs/2402.14926v1
• Date: Thu, 22 Feb 2024 19:16:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 16:42:01.236841
• Title: Boosting gets full Attention for Relational Learning
• Title（参考訳）: Boostingがリレーショナルラーニングに全力を注ぐ
• Authors: Mathieu Guillame-Bert and Richard Nock
• Abstract要約: 本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。 シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
• 参考スコア（独自算出の注目度）: 27.82663283409287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: More often than not in benchmark supervised ML, tabular data is flat, i.e. consists of a single $m \times d$ (rows, columns) file, but cases abound in the real world where observations are described by a set of tables with structural relationships. Neural nets-based deep models are a classical fit to incorporate general topological dependence among description features (pixels, words, etc.), but their suboptimality to tree-based models on tabular data is still well documented. In this paper, we introduce an attention mechanism for structured data that blends well with tree-based models in the training context of (gradient) boosting. Each aggregated model is a tree whose training involves two steps: first, simple tabular models are learned descending tables in a top-down fashion with boosting's class residuals on tables' features. Second, what has been learned progresses back bottom-up via attention and aggregation mechanisms, progressively crafting new features that complete at the end the set of observation features over which a single tree is learned, boosting's iteration clock is incremented and new class residuals are computed. Experiments on simulated and real-world domains display the competitiveness of our method against a state of the art containing both tree-based and neural nets-based models.
• Abstract（参考訳）: 多くの場合、ベンチマーク管理されたMLでは、表のデータはフラットである。つまり、単一の$m \times d$ (rows, columns) ファイルで構成されるが、実世界では観測が構造的な関係を持つテーブルによって記述されるケースが多い。 ニューラルネットベースのディープモデルは、記述特徴(ピクセル、単語など)に一般的なトポロジ的依存を組み込むのに適しているが、表データ上のツリーベースモデルに対するそのサブ最適性はまだ十分に文書化されている。 本稿では,(段階的)ブースティングのトレーニングコンテキストにおいて,木ベースモデルとよく融合した構造化データに対する注意機構を提案する。 各集約モデルは、トレーニングが2つのステップを含む木である。 第一に、単純な表型モデルは、テーブルの特徴の強化のクラス残余をトップダウンで学習する。 第二に、学習されたものは、注意と集約メカニズムを通じてボトムアップを遡り、単一の木が学習される観察機能セットの最後に完了した新機能を段階的に作成し、反復時計の強化と新しいクラス残差を計算します。 シミュレーションおよび実世界のドメインの実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。

関連論文リスト

• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• TRESTLE: A Model of Concept Formation in Structured Domains [4.399333421690168]
  本稿では、構造化ドメインにおける確率論的概念形成の漸進的な説明であるTRESTLEを提案する。 教師なし学習タスクと教師なしクラスタリングタスクにおいて,TRESTLEの性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T15:00:43Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)
• Structured Graph Learning for Clustering and Semi-supervised Classification [74.35376212789132]
  データの局所構造とグローバル構造の両方を保存するためのグラフ学習フレームワークを提案する。 本手法は, サンプルの自己表現性を利用して, 局所構造を尊重するために, 大域的構造と適応的隣接アプローチを捉える。 我々のモデルは、ある条件下でのカーネルk平均法とk平均法の組合せと等価である。
  論文  参考訳（メタデータ） (2020-08-31T08:41:20Z)
• Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data [12.069862650316262]
  木構造データから構造知識を符号化する2つの新しい集約関数を導入する。 2つの木分類タスクでテストを行い、木外度が増加する場合に提案したモデルの利点を示す。
  論文  参考訳（メタデータ） (2020-06-18T15:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。