論文の概要: Deep Learning Generalization and the Convex Hull of Training Sets
- arxiv url: http://arxiv.org/abs/2101.09849v1
- Date: Mon, 25 Jan 2021 01:54:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 18:57:51.931440
- Title: Deep Learning Generalization and the Convex Hull of Training Sets
- Title（参考訳）: ディープラーニングの一般化とトレーニングセットの凸束
- Authors: Roozbeh Yousefzadeh
- Abstract要約: トレーニングセットの凸船体に関連して,深層学習モデルの一般化について検討する。
訓練されたモデルのパフォーマンスは、その決定境界がトレーニングデータの凸船体外でどのように拡張されるかに部分的に依存します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the generalization of deep learning models in relation to the convex
hull of their training sets. A trained image classifier basically partitions
its domain via decision boundaries and assigns a class to each of those
partitions. The location of decision boundaries inside the convex hull of
training set can be investigated in relation to the training samples. However,
our analysis shows that in standard image classification datasets, all testing
images are considerably outside that convex hull, in the pixel space, in the
wavelet space, and in the internal representations learned by deep networks.
Therefore, the performance of a trained model partially depends on how its
decision boundaries are extended outside the convex hull of its training data.
From this perspective which is not studied before, over-parameterization of
deep learning models may be considered a necessity for shaping the extension of
decision boundaries. At the same time, over-parameterization should be
accompanied by a specific training regime, in order to yield a model that not
only fits the training set, but also its decision boundaries extend desirably
outside the convex hull. To illustrate this, we investigate the decision
boundaries of a neural network, with various degrees of parameters, inside and
outside the convex hull of its training set. Moreover, we use a polynomial
decision boundary to study the necessity of over-parameterization and the
influence of training regime in shaping its extensions outside the convex hull
of training set.
- Abstract（参考訳）: トレーニングセットの凸船体に関連して,深層学習モデルの一般化について検討する。
訓練されたイメージ分類器は基本的に、決定境界を介してそのドメインを分割し、各パーティションにクラスを割り当てる。
トレーニングセットの凸内における決定境界の位置は、トレーニングサンプルに関連して調査することができる。
しかし,本解析により,標準画像分類データセットでは,すべてのテスト画像が,その凸包,画素空間,ウェーブレット空間,深層ネットワークで学習された内部表現の外側にかなり存在することが示された。
したがって、訓練されたモデルのパフォーマンスは、その決定境界がトレーニングデータの凸船体外でどのように拡張されるかに部分的に依存します。
これまで研究されなかったこの観点から、深層学習モデルの過小パラメータ化は、決定境界の拡張を形成する上で不可欠であると考えられる。
同時に、オーバーパラメータ化は、トレーニングセットに適合するだけでなく、その決定境界が凸船体外で望ましく拡張されるモデルを得るために、特定のトレーニング体制を伴うべきである。
これを説明するために,トレーニングセットの凸包内外において,様々なパラメータを持つニューラルネットワークの判断境界について検討する。
さらに, 過剰パラメータ化の必要性と, トレーニングセットの凸包外への拡張形成におけるトレーニングレジームの影響について, 多項式決定境界を用いて検討する。
関連論文リスト
- A mean curvature flow arising in adversarial training [1.2289361708127877]
我々は、二項分類のための対角訓練を、決定境界に対する幾何学的進化方程式に結びつける。
このスキームは単調かつ一貫したものであり、敵の予算が消滅し、周辺がローカライズされると証明する。
このことは、対人訓練の有効性は、決定境界の長さを局所的に最小化することによる可能性があることを強調している。
論文 参考訳（メタデータ） (2024-04-22T17:58:36Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline
Model and DoF-based Curriculum Learning [62.86400614141706]
我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。
我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。
実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
論文 参考訳（メタデータ） (2023-01-04T15:12:57Z) - The Vanishing Decision Boundary Complexity and the Strong First
Component [11.65690857661528]
機械学習とは異なり、よく訓練された深層モデルの決定境界には複雑な境界構造は存在しないことを示す。
複雑な構造はトレーニング中に現れるが、形成後すぐに消滅することがわかった。
深層モデルの一般化研究に先立つ決定境界をどう使うかを示す。
論文 参考訳（メタデータ） (2022-11-25T21:39:08Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-16T16:46:32Z) - Over-parameterization: A Necessary Condition for Models that Extrapolate [0.0]
本研究では, モデルが訓練セットの凸殻の外側を外挿する能力を持つためには, オーバーパラメータ化を必須条件として検討する。
ドメインを分割し、各パーティションにクラスを割り当てる分類モデルを検討する。
本研究では,画像と非画像の両方において,データセットの幾何学に関する実証的証拠を提示し,モデルによる外挿の程度について考察する。
論文 参考訳（メタデータ） (2022-03-20T03:57:35Z) - Zero Pixel Directional Boundary by Vector Transform [77.63061686394038]
我々は境界を1次元曲面として再解釈し、1対1のベクトル変換関数を定式化し、クラス不均衡問題を完全に回避する境界予測の訓練を可能にする。
我々の問題定式化は、境界の方向推定だけでなく、よりリッチなコンテキスト情報もたらし、もし望めば、訓練時にもゼロピクセルの薄い境界が利用可能となる。
論文 参考訳（メタデータ） (2022-03-16T17:55:31Z) - Extrapolation Frameworks in Cognitive Psychology Suitable for Study of
Image Classification Models [0.0]
深層学習文学とは対照的に、認知科学、心理学、神経科学では、外挿と学習はタンデムでしばしば研究される。
本稿では,ディープラーニングモデルの数学的研究のための新しい外挿フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:06:31Z) - SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural
Implicit Shapes [117.76767853430243]
SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。
反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。
最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
論文 参考訳（メタデータ） (2021-04-08T17:54:59Z) - Risk Bounds for Learning via Hilbert Coresets [1.0312968200748116]
複素仮説クラスに対する密接かつ有意義な境界を明示的に計算する。
我々は、教師付き分類タスクの完全なサンプルリスクに対する上限を構築するためのフォーマリズムを開発する。
論文 参考訳（メタデータ） (2021-03-29T12:39:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。