論文の概要: TreePIN$^{2}$: Tree-Prior Initialized Neural Networks

• arxiv url: http://arxiv.org/abs/2611.00919v1
• Date: Sat, 31 Oct 2026 13:22:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:12:22.399503
• Title: TreePIN$^{2}$: Tree-Prior Initialized Neural Networks
• Title（参考訳）: TreePIN$^{2}$: Tree-Prior Initialized Neural Networks
• Abstract要約: 本稿では,ツリープライア初期化ニューラルネットワーク(TreePIN$2$)を提案する。 TreePIN$2$は、分割ルール、決定パス、葉の予測を、分類と回帰のための初期ネットワーク重みとバイアスに変換する。 すべての重みとバイアスはトレーニング可能であり、勾配に基づく最適化により、移行した決定を洗練できる。
• 参考スコア（独自算出の注目度）: 3.0166286539551224
• License:
• Abstract: Fitted decision trees provide predictive knowledge for neural network initialization. We present Tree-Prior Initialized Neural Networks (TreePIN$^{2}$), a method that translates split rules, decision paths and leaf predictions into initial network weights and biases for classification and regression. Sigmoid units encode split responses, hidden units combine them along decision paths, and leaf predictions initialize the output layer. We calibrate split softness using local training margins, sample support and impurity reduction, relating the initial responses to the data at each node. All weights and biases remain trainable, allowing gradient-based optimization to refine the transferred decisions and their combinations. Across six classification and six regression tasks with twenty paired seeds, TreePIN$^{2}$ improves mean initial and early validation performance over initialization baselines on most tasks. After fifty epochs, it achieves the best or tied-best mean validation performance among the six compared methods on ten tasks. Paired ablations show how split calibration and leaf-informed output initialization contribute to the starting predictor and its subsequent learning.
• Abstract（参考訳）: フィットした決定木は、ニューラルネットワークの初期化の予測知識を提供する。 本稿では、分割規則、決定経路、葉の予測を分類と回帰のための初期ネットワーク重みとバイアスに変換する手法であるTreePIN$^{2}$(TreePIN$^{2}$)を提案する。 シグモノイドユニットは分割応答を符号化し、隠れたユニットは決定経路に沿ってそれらを結合し、葉の予測は出力層を初期化する。 我々は,各ノードにおけるデータに対する初期応答に関して,局所訓練マージン,サンプルサポート,不純物低減を用いて,分割ソフトネスを校正する。 すべての重みとバイアスはトレーニング可能であり、勾配に基づく最適化により、移行した決定とそれらの組み合わせを洗練できる。 6つの分類と、20組のシードを持つ6つの回帰タスクに対して、TreePIN$^{2}$は、ほとんどのタスクの初期化ベースラインよりも平均初期および早期バリデーションパフォーマンスを改善する。 50エポック後、10つのタスクで比較した6つのメソッドのうち、最高の、または最も結びついた平均検証性能を達成する。 Paired ablationsは、分割キャリブレーションと葉のインフォームドアウトプットの初期化が、開始予測器とそのその後の学習にどのように貢献するかを示す。

関連論文リスト

• Soft regression trees: a model variant and a decomposition training algorithm [0.24578723416255752]
  そこで本研究では,各入力ベクトルに対して,単一の葉ノードに関連付けられた線形回帰として定義する,ソフト多変量回帰木(SRT)の新たな変種を提案する。 SRTは条件付き計算特性、すなわち各予測は少数のノードに依存する。 15のよく知られたデータセットの実験により、従来のソフトレグレッションツリーと比較して、我々のSRTと分解アルゴリズムは高い精度とロバスト性が得られることが示された。
  論文  参考訳（メタデータ） (2025-01-10T13:06:36Z)
• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• What to Prune and What Not to Prune at Initialization [0.0]
  トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。 ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。 目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
  論文  参考訳（メタデータ） (2022-09-06T03:48:10Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。