論文の概要: Understanding the Generalization Benefit of Model Invariance from a Data Perspective

• arxiv url: http://arxiv.org/abs/2111.05529v1
• Date: Wed, 10 Nov 2021 04:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 14:08:09.650842
• Title: Understanding the Generalization Benefit of Model Invariance from a Data Perspective
• Title（参考訳）: データの観点からのモデル不変性の一般化ベネフィットの理解
• Authors: Sicheng Zhu, Bang An, Furong Huang
• Abstract要約: データセットが与えられた場合、"適切な"データ変換を選択するための原則的な方法がしばしば存在しない。 任意のデータ変換に対して、サンプル被覆に基づく不変モデルに対する洗練された一般化境界を提供する。 我々は、小さなサンプル被覆数を持つ「相応しい」変換の一般化境界を締め付けることができることを示した。
• 参考スコア（独自算出の注目度）: 13.07792817718877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models that are developed to be invariant under certain types of data transformations have shown improved generalization in practice. However, a principled understanding of why invariance benefits generalization is limited. Given a dataset, there is often no principled way to select "suitable" data transformations under which model invariance guarantees better generalization. This paper studies the generalization benefit of model invariance by introducing the sample cover induced by transformations, i.e., a representative subset of a dataset that can approximately recover the whole dataset using transformations. For any data transformations, we provide refined generalization bounds for invariant models based on the sample cover. We also characterize the "suitability" of a set of data transformations by the sample covering number induced by transformations, i.e., the smallest size of its induced sample covers. We show that we may tighten the generalization bounds for "suitable" transformations that have a small sample covering number. In addition, our proposed sample covering number can be empirically evaluated and thus provides a guide for selecting transformations to develop model invariance for better generalization. In experiments on multiple datasets, we evaluate sample covering numbers for some commonly used transformations and show that the smaller sample covering number for a set of transformations (e.g., the 3D-view transformation) indicates a smaller gap between the test and training error for invariant models, which verifies our propositions.
• Abstract（参考訳）: ある種のデータ変換の下で不変となるように開発された機械学習モデルは、実際に一般化の改善を示している。 しかし、なぜ不変性が一般化の恩恵を受けるのかという原則的な理解は限られている。 データセットが与えられると、モデル不変性がより良い一般化を保証する「適切な」データ変換を選択する原則的な方法がしばしば存在しない。 本稿では,変換によって誘導されるサンプル被覆,すなわち変換を用いてデータセット全体をほぼ復元可能なデータセットの代表的なサブセットを導入することで,モデル不変性の一般化効果について検討する。 任意のデータ変換に対して、サンプル被覆に基づく不変モデルに対する洗練された一般化境界を提供する。 また、データ変換集合の「適合性」を、変換によって引き起こされるサンプル被覆数、すなわち、その誘導されたサンプル被覆の最小サイズによって特徴づける。 我々は、小さなサンプル被覆数を持つ「相応しい」変換の一般化境界を締め付けることができることを示した。 さらに,提案したサンプル被覆数は経験的評価が可能であり,モデル不変性を向上させるために変換を選択するためのガイドを提供する。 複数のデータセットにおける実験において、一般的に使用される変換のサンプル被覆数を評価し、変換の集合(例えば3d-ビュー変換)のサンプル被覆数が、テストと不変モデルのトレーニング誤差との差が小さいことを示し、提案を検証する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Domain Generalization In Robust Invariant Representation [10.132611239890345]
  本稿では,分布外データに基づく不変表現の一般化について検討する。 不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
  論文  参考訳（メタデータ） (2023-04-07T00:58:30Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Learning disentangled representations via product manifold projection [10.677966716893762]
  そこで本研究では,ある観測セットの根底にある変化の生成因子を解き放つ新しい手法を提案する。 我々の手法は、データ空間の下の(未知の)低次元多様体を、部分多様体の積として明示的にモデル化できるという考えに基づいている。
  論文  参考訳（メタデータ） (2021-03-02T10:59:59Z)
• Provably Strict Generalisation Benefit for Equivariant Models [1.332560004325655]
  不変/等価であるモデルのエンジニアリングは一般化を改善すると広く信じられている。 本稿では,不変/等価モデルに対する一般化における最初の非ゼロ改善について述べる。
  論文  参考訳（メタデータ） (2021-02-20T12:47:32Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。