論文の概要: A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization

• arxiv url: http://arxiv.org/abs/2502.10723v1
• Date: Sat, 15 Feb 2025 08:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:51.801131
• Title: A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization
• Title（参考訳）: 人工シフト型人口リスクの数学的枠組みとその一貫性規則化に関するさらなる理解
• Authors: Xiliang Yang, Shenyang Deng, Shicong Liu, Yuanchi Suo, Wing. W. Y NG, Jianjun Zhang,
• Abstract要約: 本稿では,データ拡張のためのより包括的な数学的枠組みを紹介する。 シフトする人口の予測リスクは、当初の人口リスクとギャップ項の合計であることを示す。 本稿は、このギャップの理論的理解も提供し、トレーニングの初期段階における負の効果を強調している。
• 参考スコア（独自算出の注目度）: 7.944280447232545
• License:
• Abstract: Data augmentation is an important technique in training deep neural networks as it enhances their ability to generalize and remain robust. While data augmentation is commonly used to expand the sample size and act as a consistency regularization term, there is a lack of research on the relationship between them. To address this gap, this paper introduces a more comprehensive mathematical framework for data augmentation. Through this framework, we establish that the expected risk of the shifted population is the sum of the original population risk and a gap term, which can be interpreted as a consistency regularization term. The paper also provides a theoretical understanding of this gap, highlighting its negative effects on the early stages of training. We also propose a method to mitigate these effects. To validate our approach, we conducted experiments using same data augmentation techniques and computing resources under several scenarios, including standard training, out-of-distribution, and imbalanced classification. The results demonstrate that our methods surpass compared methods under all scenarios in terms of generalization ability and convergence stability. We provide our code implementation at the following link: https://github.com/ydlsfhll/ASPR.
• Abstract（参考訳）: データ拡張は、ニューラルネットワークの一般化と堅牢性を維持する能力を高めるため、ディープニューラルネットワークのトレーニングにおいて重要なテクニックである。 データ拡張は、サンプルのサイズを拡大し、一貫性の正則化の用語として機能するために一般的に使用されるが、それらの関係についての研究は欠如している。 このギャップに対処するために,データ拡張のためのより包括的な数学的枠組みを提案する。 この枠組みにより、シフトする人口の予測リスクは、当初の人口リスクとギャップ項の合計であり、一貫性の規則化項と解釈できる。 本稿は、このギャップの理論的理解も提供し、トレーニングの初期段階における負の効果を強調している。 また,これらの効果を緩和する手法を提案する。 提案手法の有効性を検証するため, 標準トレーニング, アウト・オブ・ディストリビューション, 不均衡分類など, 様々なシナリオにおいて, 同一データ拡張手法と計算資源を用いて実験を行った。 その結果,本手法は一般化能力と収束安定性の観点から,すべてのシナリオにおいて比較手法を超越していることがわかった。 https://github.com/ydlsfhll/ASPR.com/ASPR.com/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/ s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Multi-dimensional domain generalization with low-rank structures [18.565189720128856]
  統計的および機械学習の手法では、テストデータがトレーニングデータと同一に分散されていると仮定されるのが一般的である。 この仮定は必ずしも成り立たないが、特にトレーニングデータに対象の個体群がよく表現されていないアプリケーションでは顕著である。 線形回帰モデルにおいて,この問題に対処するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-18T08:07:58Z)
• Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
  仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。 本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
  論文  参考訳（メタデータ） (2023-05-31T09:38:21Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift [24.061858945664856]
  半教師あり学習における一般的な前提は、ラベル付き、ラベルなし、テストデータが同じ分布から引き出されることである。 本稿では,この問題に対処可能な半教師付き学習アルゴリズムを提案する。 また,このフレームワークはエントロピーの最小化や擬似ラベル付けなど,一般的な手法を復元する。
  論文  参考訳（メタデータ） (2022-02-24T14:25:14Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness [21.630597505797073]
  敵データ拡張のための新しい効果的な正則化項を提案する。 理論的には、最大エントロピーの定式化をもたらす情報ボトルネック原理から導出する。 我々の手法は、統計的に有意なマージンで、既存の最先端技術よりも一貫して優れています。
  論文  参考訳（メタデータ） (2020-10-15T20:02:23Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。