論文の概要: Boosting gets full Attention for Relational Learning
- arxiv url: http://arxiv.org/abs/2402.14926v1
- Date: Thu, 22 Feb 2024 19:16:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:42:01.236841
- Title: Boosting gets full Attention for Relational Learning
- Title(参考訳): Boostingがリレーショナルラーニングに全力を注ぐ
- Authors: Mathieu Guillame-Bert and Richard Nock
- Abstract要約: 本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。
シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
- 参考スコア(独自算出の注目度): 27.82663283409287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: More often than not in benchmark supervised ML, tabular data is flat, i.e.
consists of a single $m \times d$ (rows, columns) file, but cases abound in the
real world where observations are described by a set of tables with structural
relationships. Neural nets-based deep models are a classical fit to incorporate
general topological dependence among description features (pixels, words,
etc.), but their suboptimality to tree-based models on tabular data is still
well documented. In this paper, we introduce an attention mechanism for
structured data that blends well with tree-based models in the training context
of (gradient) boosting. Each aggregated model is a tree whose training involves
two steps: first, simple tabular models are learned descending tables in a
top-down fashion with boosting's class residuals on tables' features. Second,
what has been learned progresses back bottom-up via attention and aggregation
mechanisms, progressively crafting new features that complete at the end the
set of observation features over which a single tree is learned, boosting's
iteration clock is incremented and new class residuals are computed.
Experiments on simulated and real-world domains display the competitiveness of
our method against a state of the art containing both tree-based and neural
nets-based models.
- Abstract(参考訳): 多くの場合、ベンチマーク管理されたMLでは、表のデータはフラットである。つまり、単一の$m \times d$ (rows, columns) ファイルで構成されるが、実世界では観測が構造的な関係を持つテーブルによって記述されるケースが多い。
ニューラルネットベースのディープモデルは、記述特徴(ピクセル、単語など)に一般的なトポロジ的依存を組み込むのに適しているが、表データ上のツリーベースモデルに対するそのサブ最適性はまだ十分に文書化されている。
本稿では,(段階的)ブースティングのトレーニングコンテキストにおいて,木ベースモデルとよく融合した構造化データに対する注意機構を提案する。
各集約モデルは、トレーニングが2つのステップを含む木である。 第一に、単純な表型モデルは、テーブルの特徴の強化のクラス残余をトップダウンで学習する。
第二に、学習されたものは、注意と集約メカニズムを通じてボトムアップを遡り、単一の木が学習される観察機能セットの最後に完了した新機能を段階的に作成し、反復時計の強化と新しいクラス残差を計算します。
シミュレーションおよび実世界のドメインの実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
関連論文リスト
- Tree-Regularized Tabular Embeddings [22.095328171882223]
タブラルニューラルネットワーク(NN)は注目を浴びており、近年の進歩により、多くの公開データセット上のツリーベースモデルに対するパフォーマンスギャップが徐々に狭まりつつある。
我々は、均質な埋め込みの重要性を強調し、教師付き事前学習による入力の正規化に交互に集中する。
具体的には、事前訓練された木のアンサンブルの構造を利用して、生変数を単一のベクトル(T2V)またはトークンの配列(T2T)に変換する。
論文 参考訳(メタデータ) (2024-03-01T20:26:33Z) - Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。
クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。
このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
論文 参考訳(メタデータ) (2023-05-24T11:05:12Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - Why do tree-based models still outperform deep learning on tabular data? [0.0]
木をベースとしたモデルが中規模データの最先端のままであることを示す。
木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
論文 参考訳(メタデータ) (2022-07-18T08:36:08Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文 参考訳(メタデータ) (2021-06-20T02:15:20Z) - XBNet : An Extremely Boosted Neural Network [0.0]
XBNetは、ツリーベースのモデルとニューラルネットワークのモデルを組み合わせて、新しい最適化テクニックであるBoosted Gradient Descent for Tabular Dataを使用してトレーニングされた堅牢なアーキテクチャを作成しようとしている。
本稿では,新しい最適化手法であるBoosted Gradient Descent for Tabular Dataを用いてトレーニングされた堅牢なアーキテクチャを構築するために,ツリーベースモデルとニューラルネットワークのアーキテクチャを組み合わせた新しいアーキテクチャXBNetについて述べる。
論文 参考訳(メタデータ) (2021-06-09T17:31:50Z) - Context-tree weighting for real-valued time series: Bayesian inference
with hierarchical mixture models [8.37609145576126]
時系列の混合モデルを構築するための一般的な階層型ベイズモデリングフレームワークが開発されている。
この開発は、部分的にはコンテキストツリーの使用に基づいており、学習と推論のための効果的なアルゴリズムツールのコレクションを含んでいる。
汎用フレームワークの実用性は、自己回帰(AR)モデルが底面で使用されるときに詳細に説明され、結果として非線形AR混合モデルが得られる。
論文 参考訳(メタデータ) (2021-06-06T03:46:49Z) - Structured Graph Learning for Clustering and Semi-supervised
Classification [74.35376212789132]
データの局所構造とグローバル構造の両方を保存するためのグラフ学習フレームワークを提案する。
本手法は, サンプルの自己表現性を利用して, 局所構造を尊重するために, 大域的構造と適応的隣接アプローチを捉える。
我々のモデルは、ある条件下でのカーネルk平均法とk平均法の組合せと等価である。
論文 参考訳(メタデータ) (2020-08-31T08:41:20Z) - Tensor Decompositions in Recursive Neural Networks for Tree-Structured
Data [12.069862650316262]
木構造データから構造知識を符号化する2つの新しい集約関数を導入する。
2つの木分類タスクでテストを行い、木外度が増加する場合に提案したモデルの利点を示す。
論文 参考訳(メタデータ) (2020-06-18T15:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。