論文の概要: Topologically Densified Distributions
- arxiv url: http://arxiv.org/abs/2002.04805v2
- Date: Mon, 17 May 2021 04:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 19:37:15.840659
- Title: Topologically Densified Distributions
- Title（参考訳）: 位相密度分布
- Authors: Christoph D. Hofer, Florian Graf, Marc Niethammer, Roland Kwitt
- Abstract要約: オーバーパラメータ化ニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。
我々は、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。
このことは、トレーニングインスタンスの表現に関する質量濃度の影響を確実に引き起こす。
- 参考スコア（独自算出の注目度）: 25.140319008330167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study regularization in the context of small sample-size learning with
over-parameterized neural networks. Specifically, we shift focus from
architectural properties, such as norms on the network weights, to properties
of the internal representations before a linear classifier. Specifically, we
impose a topological constraint on samples drawn from the probability measure
induced in that space. This provably leads to mass concentration effects around
the representations of training instances, i.e., a property beneficial for
generalization. By leveraging previous work to impose topological constraints
in a neural network setting, we provide empirical evidence (across various
vision benchmarks) to support our claim for better generalization.
- Abstract（参考訳）: 過パラメータニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。
具体的には、ネットワークウェイトのノルムのようなアーキテクチャ的特性から、線形分類器の前に内部表現の特性に焦点を移す。
具体的には、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。
これにより、トレーニングインスタンスの表現、すなわち一般化に有用な特性の周囲に質量集中効果がもたらされる。
ニューラルネットワークの設定にトポロジ的制約を課すために、以前の研究を活用して、より優れた一般化のためのクレームを支援する実証的な証拠(様々なビジョンベンチマーク全体)を提供する。
関連論文リスト
- TANGOS: Regularizing Tabular Neural Networks through Gradient
Orthogonalization and Specialization [69.80141512683254]
TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。
TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。
提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
論文 参考訳（メタデータ） (2023-03-09T18:57:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Generalization Guarantee of Training Graph Convolutional Networks with
Graph Topology Sampling [83.77955213766896]
グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。
スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。
本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
論文 参考訳（メタデータ） (2022-07-07T21:25:55Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Topological Regularization for Dense Prediction [5.71097144710995]
我々は、トポロジ的記述を伴う密集予測タスクに使用できる永続的ホモロジーに基づくトポロジ的正規化の形式を開発する。
内部アクティベーションのトポロジカルな正規化は、いくつかの問題やアーキテクチャにおける収束とテストベンチマークの改善につながることを実証する。
論文 参考訳（メタデータ） (2021-11-22T04:44:45Z) - Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。
我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文 参考訳（メタデータ） (2021-06-07T03:04:59Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Intraclass clustering: an implicit learning ability that regularizes
DNNs [22.732204569029648]
ディープニューラルネットワークは,クラス間で有意義なクラスタを抽出する能力によって正規化されることを示す。
クラス内クラスタリングの尺度は、トレーニングデータのニューロンおよび層レベルの表現に基づいて設計される。
論文 参考訳（メタデータ） (2021-03-11T15:26:27Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。