論文の概要: Cross Spline Net and a Unified World

• arxiv url: http://arxiv.org/abs/2410.19154v1
• Date: Thu, 24 Oct 2024 20:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:23.843342
• Title: Cross Spline Net and a Unified World
• Title（参考訳）: クロススプラインネットと統一世界
• Authors: Linwei Hu, Ye Jin Choi, Vijayan N. Nair,
• Abstract要約: クロススプラインネット(CSN)はスプライン変換とクロスネットワークの組み合わせに基づいている。 CSNは、上記の一連の非ニューラルネットワークモデルを同じニューラルネットワークフレームワークの下に配置する統合モデリングフレームワークを提供する。 CSNはパフォーマンスが高く、使いやすく、より複雑で、より解釈しやすく、堅牢であることを示します。
• 参考スコア（独自算出の注目度）: 41.69175843713757
• License:
• Abstract: In today's machine learning world for tabular data, XGBoost and fully connected neural network (FCNN) are two most popular methods due to their good model performance and convenience to use. However, they are highly complicated, hard to interpret, and can be overfitted. In this paper, we propose a new modeling framework called cross spline net (CSN) that is based on a combination of spline transformation and cross-network (Wang et al. 2017, 2021). We will show CSN is as performant and convenient to use, and is less complicated, more interpretable and robust. Moreover, the CSN framework is flexible, as the spline layer can be configured differently to yield different models. With different choices of the spline layer, we can reproduce or approximate a set of non-neural network models, including linear and spline-based statistical models, tree, rule-fit, tree-ensembles (gradient boosting trees, random forest), oblique tree/forests, multi-variate adaptive regression spline (MARS), SVM with polynomial kernel, etc. Therefore, CSN provides a unified modeling framework that puts the above set of non-neural network models under the same neural network framework. By using scalable and powerful gradient descent algorithms available in neural network libraries, CSN avoids some pitfalls (such as being ad-hoc, greedy or non-scalable) in the case-specific optimization methods used in the above non-neural network models. We will use a special type of CSN, TreeNet, to illustrate our point. We will compare TreeNet with XGBoost and FCNN to show the benefits of TreeNet. We believe CSN will provide a flexible and convenient framework for practitioners to build performant, robust and more interpretable models.
• Abstract（参考訳）: 今日のグラフデータのための機械学習の世界では、XGBoostと完全に接続されたニューラルネットワーク(FCNN)は、優れたモデルパフォーマンスと使い勝手のために、最も一般的な2つの方法である。 しかし、それらは非常に複雑で解釈が難しく、過度に適合する可能性がある。 本稿では,クロススプライン変換とクロスネットワークを併用したクロススプラインネット(CSN)を提案する(Wang et al 2017 2021)。 CSNはパフォーマンスが高く、使いやすく、より複雑で、より解釈しやすく、堅牢であることを示します。 さらに、CSNフレームワークは柔軟性があり、スプライン層は異なるモデルを生成するために異なる構成をすることができる。 スプライン層の異なる選択により、線形およびスプラインに基づく統計モデル、ツリー、ルール適合、ツリーアンサンブル(緩やかな隆起木、ランダム森林)、斜め木/森林、多変量適応適応スプライン(MARS)、多項式カーネル付きSVMなど、一連の非神経ネットワークモデルを再現または近似することができる。 したがって、CSNは上記のニューラルネットワークモデルセットを同じニューラルネットワークフレームワークの下に配置する統合モデリングフレームワークを提供する。 ニューラルネットワークライブラリで利用可能なスケーラブルで強力な勾配降下アルゴリズムを使用することで、CSNは上記の非ニューラルネットワークモデルで使用されるケース固有最適化手法において、いくつかの落とし穴(アドホック、グリード、非スケーリングなど)を避けることができる。 私たちは、私たちのポイントを説明するために特別なタイプのCSNであるTreeNetを使用します。 TreeNetとXGBoostとFCNNを比較して、TreeNetの利点を示す。 CSNは、パフォーマンスが高く、堅牢で、より解釈可能なモデルを構築するための、フレキシブルで便利なフレームワークを提供する、と私たちは信じています。

関連論文リスト

• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• Stitchable Neural Networks [40.8842135978138]
  モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。 SN-Netは、アンカーをブロック/レイヤに分割し、単純な縫合層で縫合して、アンカーから別のアンカーへのアクティベーションをマッピングする。 ImageNet分類の実験では、SN-Netは、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2023-02-13T18:37:37Z)
• XBNet : An Extremely Boosted Neural Network [0.0]
  XBNetは、ツリーベースのモデルとニューラルネットワークのモデルを組み合わせて、新しい最適化テクニックであるBoosted Gradient Descent for Tabular Dataを使用してトレーニングされた堅牢なアーキテクチャを作成しようとしている。 本稿では,新しい最適化手法であるBoosted Gradient Descent for Tabular Dataを用いてトレーニングされた堅牢なアーキテクチャを構築するために,ツリーベースモデルとニューラルネットワークのアーキテクチャを組み合わせた新しいアーキテクチャXBNetについて述べる。
  論文  参考訳（メタデータ） (2021-06-09T17:31:50Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。