論文の概要: Generalization bounds for regression and classification on adaptive covering input domains

• arxiv url: http://arxiv.org/abs/2407.19715v1
• Date: Mon, 29 Jul 2024 05:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 14:56:26.229562
• Title: Generalization bounds for regression and classification on adaptive covering input domains
• Title（参考訳）: 適応被覆入力領域の回帰と分類のための一般化境界
• Authors: Wen-Liang Hwang,
• Abstract要約: 一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
• 参考スコア（独自算出の注目度）: 1.4141453107129398
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Our main focus is on the generalization bound, which serves as an upper limit for the generalization error. Our analysis delves into regression and classification tasks separately to ensure a thorough examination. We assume the target function is real-valued and Lipschitz continuous for regression tasks. We use the 2-norm and a root-mean-square-error (RMSE) variant to measure the disparities between predictions and actual values. In the case of classification tasks, we treat the target function as a one-hot classifier, representing a piece-wise constant function, and employ 0/1 loss for error measurement. Our analysis underscores the differing sample complexity required to achieve a concentration inequality of generalization bounds, highlighting the variation in learning efficiency for regression and classification tasks. Furthermore, we demonstrate that the generalization bounds for regression and classification functions are inversely proportional to a polynomial of the number of parameters in a network, with the degree depending on the hypothesis class and the network architecture. These findings emphasize the advantages of over-parameterized networks and elucidate the conditions for benign overfitting in such systems.
• Abstract（参考訳）: 我々の主な焦点は一般化境界であり、一般化誤差の上限となる。 我々の分析は、徹底的な検査を確保するために、回帰と分類のタスクを別々に検討する。 対象関数は実数値であり、回帰タスクに対してはリプシッツが連続的であると仮定する。 予測値と実値の差を測定するために, 2-norm と root-mean-square-error (RMSE) の変種を用いる。 分類タスクの場合、対象関数を1ホットの分類器として扱い、断片的定数関数を表現し、誤差測定に0/1の損失を用いる。 本分析は、一般化境界の濃度不等式を達成するために必要なサンプルの複雑さの相違を明らかにし、回帰および分類タスクにおける学習効率のばらつきを浮き彫りにする。 さらに、回帰関数と分類関数の一般化境界は、ネットワーク内のパラメータ数の多項式に逆比例することを示した。 これらの知見は、過パラメータ化ネットワークの利点を強調し、これらのシステムにおける良性オーバーフィッティングの条件を明らかにする。

関連論文リスト

• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Topologically penalized regression on manifolds [0.0]
  コンパクト多様体 M 上の回帰問題について検討する。 データの基底幾何学と位相を利用するために、回帰タスクは多様体のラプラス・ベルトラミ作用素の最初のいくつかの固有関数に基づいて実行される。 提案された罰則は固有関数または推定関数の下位レベルの集合の位相に基づく。
  論文  参考訳（メタデータ） (2021-10-26T14:59:13Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Reachable Sets of Classifiers and Regression Models: (Non-)Robustness Analysis and Robust Training [1.0878040851638]
  分類器と回帰モデルの両方の頑健性特性を解析・拡張する。 具体的には、(非)難易度を検証し、堅牢なトレーニング手順を提案し、我々のアプローチが敵攻撃よりも優れていることを示す。 第2に、ラベル付けされていない入力に対する信頼できない予測と信頼できない予測を区別し、各特徴が予測に与える影響を定量化し、特徴ランキングを計算する技術を提供する。
  論文  参考訳（メタデータ） (2020-07-28T10:58:06Z)
• Predictive Value Generalization Bounds [27.434419027831044]
  本稿では,二項分類の文脈におけるスコアリング関数の評価のためのビクテリオンフレームワークについて検討する。 本研究では,新しい分布自由な大偏差と一様収束境界を導出することにより,予測値に関するスコアリング関数の特性について検討する。
  論文  参考訳（メタデータ） (2020-07-09T21:23:28Z)
• Classification vs regression in overparameterized regimes: Does the loss function matter? [21.75115239010008]
  最小二乗最小ノルムで得られる解は、通常回帰に使用されるもので、ハードマージン支援ベクトルマシン(SVM)が生成したものと同一であることを示す。 本研究は, トレーニングフェーズ(最適化)とテストフェーズ(一般化)において, 損失関数の役割と特性が全く異なることを示すものである。
  論文  参考訳（メタデータ） (2020-05-16T17:58:25Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。