論文の概要: Input margins can predict generalization too

• arxiv url: http://arxiv.org/abs/2308.15466v1
• Date: Tue, 29 Aug 2023 17:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 12:51:21.251036
• Title: Input margins can predict generalization too
• Title（参考訳）: 入力マージンは一般化も予測できる
• Authors: Coenraad Mouton, Marthinus W. Theunissen, Marelie H. Davel
• Abstract要約: 入力マージンは一般の一般化の予測ではなく,探索空間が適切に制約されている場合であることを示す。 我々は、入力マージンに基づくそのような尺度を開発し、それを制約マージンと呼ぶ。 制約されたマージンは競争力が高く、他のマージン測定よりも優れています。
• 参考スコア（独自算出の注目度）: 1.2430809884830318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding generalization in deep neural networks is an active area of research. A promising avenue of exploration has been that of margin measurements: the shortest distance to the decision boundary for a given sample or its representation internal to the network. While margins have been shown to be correlated with the generalization ability of a model when measured at its hidden representations (hidden margins), no such link between large margins and generalization has been established for input margins. We show that while input margins are not generally predictive of generalization, they can be if the search space is appropriately constrained. We develop such a measure based on input margins, which we refer to as `constrained margins'. The predictive power of this new measure is demonstrated on the 'Predicting Generalization in Deep Learning' (PGDL) dataset and contrasted with hidden representation margins. We find that constrained margins achieve highly competitive scores and outperform other margin measurements in general. This provides a novel insight on the relationship between generalization and classification margins, and highlights the importance of considering the data manifold for investigations of generalization in DNNs.
• Abstract（参考訳）: ディープニューラルネットワークの一般化を理解することは、研究の活発な領域である。 有望な探索の道はマージンの測定である: 与えられたサンプルに対する決定境界への最短距離、またはネットワークの内部におけるその表現である。 マージンは、隠れた表現(隠れたマージン)で測定された場合のモデルの一般化能力と相関することが示されているが、入力マージンに対して大きなマージンと一般化の関係は確立されていない。 入力マージンは一般に一般化を予測できないが、探索空間が適切に制約されている場合である。 このような指標を入力マージンに基づいて開発し,これを「制約マージン」と呼ぶ。 この新たな指標の予測力は、"PGDL(Predicting Generalization in Deep Learning)データセット上で示され、隠れ表現マージンと対比される。 制約されたマージンは競争力が高く、他のマージン測定よりも優れています。 このことは、一般化と分類マージンの関係に関する新しい洞察を与え、DNNにおける一般化の研究のためにデータ多様体を考えることの重要性を強調している。

関連論文リスト

• On margin-based generalization prediction in deep neural networks [0.0]
  本研究では,異なる環境下でのマージンに基づく一般化予測手法について検討する。 異なる種類のサンプルノイズが、ネットワーク全体のマージンに非常に異なる影響を与えることが判明した。 基礎となるデータ多様体の近似を組み込んだ新たなマージンベースの測度を導入する。
  論文  参考訳（メタデータ） (2024-05-20T13:26:57Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Marginal Debiased Network for Fair Visual Recognition [65.64172835624206]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 より具体的には、マージンペナルティという概念をフェアネス問題に導入することにより、マージンのソフトマックスロス(MSL)を設計する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成でき、従来の手法と比較して優れたデバイアス結果を得ることができる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• The Missing Margin: How Sample Corruption Affects Distance to the Boundary in ANNs [2.65558931169264]
  いくつかのトレーニングサンプルは、連続的に小さなマージンでモデル化され、異なる方法での一般化に影響を及ぼすことを示す。 我々は、ノイズ崩壊MNISTデータに基づいてトレーニングされた完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいてトレーニングされた畳み込みネットワークの分析を支援した。
  論文  参考訳（メタデータ） (2023-02-14T09:25:50Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Bounding generalization error with input compression: An empirical study with infinite-width networks [16.17600110257266]
  Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。 GEに関連する量の探索において,入力層と最終層との相互情報(MI)について検討する。 MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
  論文  参考訳（メタデータ） (2022-07-19T17:05:02Z)
• Bayesian Model Selection, the Marginal Likelihood, and Generalization [49.19092837058752]
  まず,学習制約と仮説テストの限界的可能性の魅力について再考する。 ニューラルアーキテクチャ探索において,限界確率が一般化と負の相関関係を持つことが示唆された。 また, 限界確率とPAC-Bayes境界との接続を再検討し, モデル選択における限界確率の欠点をさらに解明するためにこの接続を利用する。
  論文  参考訳（メタデータ） (2022-02-23T18:38:16Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。 本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
  論文  参考訳（メタデータ） (2020-08-21T09:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。