論文の概要: TANGOS: Regularizing Tabular Neural Networks through Gradient
Orthogonalization and Specialization
- arxiv url: http://arxiv.org/abs/2303.05506v1
- Date: Thu, 9 Mar 2023 18:57:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 13:28:12.931779
- Title: TANGOS: Regularizing Tabular Neural Networks through Gradient
Orthogonalization and Specialization
- Title（参考訳）: TANGOS: 勾配直交と特殊化によるタブラルニューラルネットワークの正規化
- Authors: Alan Jeffares, Tennison Liu, Jonathan Crabb\'e, Fergus Imrie, Mihaela
van der Schaar
- Abstract要約: TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。
TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。
提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
- 参考スコア（独自算出の注目度）: 69.80141512683254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their success with unstructured data, deep neural networks are not
yet a panacea for structured tabular data. In the tabular domain, their
efficiency crucially relies on various forms of regularization to prevent
overfitting and provide strong generalization performance. Existing
regularization techniques include broad modelling decisions such as choice of
architecture, loss functions, and optimization methods. In this work, we
introduce Tabular Neural Gradient Orthogonalization and Specialization
(TANGOS), a novel framework for regularization in the tabular setting built on
latent unit attributions. The gradient attribution of an activation with
respect to a given input feature suggests how the neuron attends to that
feature, and is often employed to interpret the predictions of deep networks.
In TANGOS, we take a different approach and incorporate neuron attributions
directly into training to encourage orthogonalization and specialization of
latent attributions in a fully-connected network. Our regularizer encourages
neurons to focus on sparse, non-overlapping input features and results in a set
of diverse and specialized latent units. In the tabular domain, we demonstrate
that our approach can lead to improved out-of-sample generalization
performance, outperforming other popular regularization methods. We provide
insight into why our regularizer is effective and demonstrate that TANGOS can
be applied jointly with existing methods to achieve even greater generalization
performance.
- Abstract（参考訳）: 構造化されていないデータで成功したにもかかわらず、ディープニューラルネットワークはまだ構造化された表データのためのパナセアではない。
表状領域では、それらの効率性は、オーバーフィッティングを防止し、強力な一般化性能を提供するために、様々な正規化の形式に依存する。
既存の正規化技術には、アーキテクチャの選択、損失関数、最適化メソッドなどの幅広いモデリング決定が含まれる。
本稿では,潜在単位属性上に構築された表層設定を正規化するための新しいフレームワークであるTANGOS(Tabular Neural Gradient Orthogonalization and Specialization)を紹介する。
特定の入力特徴に対する活性化の勾配帰属は、ニューロンがその特徴にどのように関与するかを示し、深層ネットワークの予測を解釈するためにしばしば用いられる。
TANGOSでは、ニューロン属性をトレーニングに直接組み込んで、完全接続ネットワークにおける潜在属性の直交化と特殊化を促進する。
我々の正則化器は、神経細胞が疎結合で重複しない入力特徴に集中するよう促し、その結果、多種多様で特殊な潜伏単位が生まれる。
表領域では,本手法が,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを示す。
そこで本研究では,TANGOSが既存の手法と併用して,より優れた一般化性能を実現することができることを示す。
関連論文リスト
- Back to Bayesics: Uncovering Human Mobility Distributions and Anomalies with an Integrated Statistical and Neural Framework [14.899157568336731]
DeepBayesicは、ベイズ原理とディープニューラルネットワークを統合し、基盤となる分布をモデル化する新しいフレームワークである。
我々は,いくつかのモビリティデータセットに対するアプローチを評価し,最先端の異常検出手法の大幅な改善を実証した。
論文 参考訳（メタデータ） (2024-10-01T19:02:06Z) - Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する
構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。
評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
論文 参考訳（メタデータ） (2024-07-30T07:17:46Z) - Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳（メタデータ） (2023-12-28T17:50:56Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳（メタデータ） (2023-07-15T09:24:33Z) - Evolving Neural Selection with Adaptive Regularization [7.298440208725654]
深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。
本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。
実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-04-04T17:19:52Z) - Implicit Regularization in Hierarchical Tensor Factorization and Deep
Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。
これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。
我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文 参考訳（メタデータ） (2022-01-27T18:48:30Z) - Embracing the Dark Knowledge: Domain Generalization Using Regularized
Knowledge Distillation [65.79387438988554]
十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。
我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。
教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
論文 参考訳（メタデータ） (2021-07-06T14:08:54Z) - Learning for Integer-Constrained Optimization through Neural Networks
with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。
整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。
提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文 参考訳（メタデータ） (2020-11-10T21:17:07Z) - On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。
入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文 参考訳（メタデータ） (2020-07-04T23:43:32Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。