論文の概要: Understanding Generalization via Set Theory

• arxiv url: http://arxiv.org/abs/2311.06545v1
• Date: Sat, 11 Nov 2023 11:47:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:09:36.930598
• Title: Understanding Generalization via Set Theory
• Title（参考訳）: 集合論による一般化の理解
• Authors: Shiqi Liu
• Abstract要約: 一般化は機械学習モデルの中核にある。 我々は、アルゴリズム、仮説、データセットの一般化の概念を導入するために集合論を用いる。
• 参考スコア（独自算出の注目度）: 1.6475699373210055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization is at the core of machine learning models. However, the definition of generalization is not entirely clear. We employ set theory to introduce the concepts of algorithms, hypotheses, and dataset generalization. We analyze the properties of dataset generalization and prove a theorem on surrogate generalization procedures. This theorem leads to our generalization method. Through a generalization experiment on the MNIST dataset, we obtain 13,541 sample bases. When we use the entire training set to evaluate the model's performance, the models achieve an accuracy of 99.945%. However, if we shift the sample bases or modify the neural network structure, the performance experiences a significant decline. We also identify consistently mispredicted samples and find that they are all challenging examples. The experiments substantiated the accuracy of the generalization definition and the effectiveness of the proposed methods. Both the set-theoretic deduction and the experiments help us better understand generalization.
• Abstract（参考訳）: 一般化は機械学習モデルの中核にある。 しかし、一般化の定義は完全には明確ではない。 アルゴリズム,仮説,データセットの一般化の概念を導入するために集合論を用いる。 データセットの一般化の性質を解析し、代理一般化手順に関する定理を証明する。 この定理は一般化の方法につながる。 MNISTデータセットの一般化実験により,13,541個のサンプルベースを得た。 モデルの性能を評価するためにトレーニングセット全体を使用すると、モデルの精度は99.945%になる。 しかし、サンプルベースをシフトしたり、ニューラルネットワーク構造を変更したりすると、性能は著しく低下する。 また、常に誤予測されたサンプルを特定し、それらがすべて難しい例であることを示す。 実験により,一般化定義の精度と提案手法の有効性を実証した。 集合論的推論と実験の両方が一般化をより理解するのに役立ちます。

関連論文リスト

• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• On the Generalization Properties of Diffusion Models [33.93850788633184]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• More Than a Toy: Random Matrix Models Predict How Real-World Neural Representations Generalize [94.70343385404203]
  ほとんどの理論解析は、カーネル回帰においても定性的現象を捉えるには不十分であることがわかった。 古典的GCV推定器は局所確率行列法則が成立するたびに一般化リスクに収束することを示す。 この結果から, ランダム行列理論は, 実際には神経表現の性質を理解する上で重要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-11T18:59:01Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Robustness to Augmentations as a Generalization metric [0.0]
  一般化とは、目に見えないドメインを予測するモデルの能力です。 拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。 提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
  論文  参考訳（メタデータ） (2021-01-16T15:36:38Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。