論文の概要: Measuring Generalization with Optimal Transport

• arxiv url: http://arxiv.org/abs/2106.03314v1
• Date: Mon, 7 Jun 2021 03:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 14:10:56.677518
• Title: Measuring Generalization with Optimal Transport
• Title（参考訳）: 最適輸送による一般化の測定
• Authors: Ching-Yao Chuang, Youssef Mroueh, Kristjan Greenewald, Antonio Torralba, Stefanie Jegelka
• Abstract要約: 我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
• 参考スコア（独自算出の注目度）: 111.29415509046886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the generalization of deep neural networks is one of the most important tasks in deep learning. Although much progress has been made, theoretical error bounds still often behave disparately from empirical observations. In this work, we develop margin-based generalization bounds, where the margins are normalized with optimal transport costs between independent random subsets sampled from the training distribution. In particular, the optimal transport cost can be interpreted as a generalization of variance which captures the structural properties of the learned feature space. Our bounds robustly predict the generalization error, given training data and network parameters, on large scale datasets. Theoretically, we demonstrate that the concentration and separation of features play crucial roles in generalization, supporting empirical results in the literature. The code is available at \url{https://github.com/chingyaoc/kV-Margin}.
• Abstract（参考訳）: ディープニューラルネットワークの一般化を理解することは、ディープラーニングにおいて最も重要なタスクの1つだ。 多くの進展が見られたが、理論上の誤差境界はしばしば経験的な観察とは異なって振る舞う。 本研究では,訓練分布からサンプリングされた独立なランダム部分集合間の最適輸送コストでマージンが正規化されるマージンに基づく一般化境界を開発した。 特に、最適な輸送コストは、学習された特徴空間の構造的性質を捉える分散の一般化として解釈できる。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。 理論的には, 特徴の集中と分離が一般化において重要な役割を担い, 文献における経験的結果を支えることを実証する。 コードは \url{https://github.com/chingyaoc/kv-margin} で入手できる。

関連論文リスト

• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization [17.825841580342715]
  機械学習の堅牢性とドメインの一般化は基本的に相関している。 最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。 彼らの基本的な関係に関する理論的理解が欠如している。
  論文  参考訳（メタデータ） (2022-02-03T20:26:27Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)
• Topologically Densified Distributions [25.140319008330167]
  オーバーパラメータ化ニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。 我々は、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。 このことは、トレーニングインスタンスの表現に関する質量濃度の影響を確実に引き起こす。
  論文  参考訳（メタデータ） (2020-02-12T05:25:15Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。