Fugu-MT 論文翻訳(概要): Adversarial Training with Generated Data in High-Dimensional Regression: An Asymptotic Study

論文の概要: Adversarial Training with Generated Data in High-Dimensional Regression: An Asymptotic Study

arxiv url: http://arxiv.org/abs/2306.12582v1
Date: Wed, 21 Jun 2023 21:35:36 GMT
ステータス: 処理完了
システム内更新日: 2023-06-23 16:05:31.917384
Title: Adversarial Training with Generated Data in High-Dimensional Regression: An Asymptotic Study
Title（参考訳）: 高次元回帰における生成データを用いた対人訓練 : 漸近的研究
Authors: Yue Xing
Abstract要約: 擬似ラベルを付加した実データや生成データを組み込むことで, 2段階の学習手法により, 対人訓練を促進できることを示す。リッジレストレーニングでは二重発振現象が観察できるが、適切な$mathcalL$正規化が可能であるため、2段階の対向訓練はより良い性能が得られる。
参考スコア（独自算出の注目度）: 3.8073142980733
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, studies such as \cite{carmon2019unlabeled,gowal2021improving,xing2022artificial} have demonstrated that incorporating additional real or generated data with pseudo-labels can enhance adversarial training through a two-stage training approach. In this paper, we perform a theoretical analysis of the asymptotic behavior of this method in high-dimensional linear regression. While a double-descent phenomenon can be observed in ridgeless training, with an appropriate $\mathcal{L}_2$ regularization, the two-stage adversarial training achieves a better performance. Finally, we derive a shortcut cross-validation formula specifically tailored for the two-stage training method.
Abstract（参考訳）: 近年,「cite{carmon2019unlabeled,gowal2021improving,xing2022artificial}」などの研究では,擬似ラベルに実データや生成データを付加することで,2段階のトレーニングアプローチを通じて対人訓練を促進できることが示されている。本稿では,高次元線形回帰法において,この手法の漸近挙動に関する理論的解析を行う。リッジレストレーニングでは二重発振現象が観察でき、適切な$\mathcal{L}_2$正規化が可能であるが、2段階の対向訓練はより良い性能を達成する。最後に,2段階学習法に特化したショートカットクロスバリデーション式を導出する。

関連論文リスト

Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking [81.57031092474625]
Powerらによる最近の研究は、算術のタスクを学習する際の驚くべき"グロキング"現象を強調した。ニューラルネットワークはまずトレーニングセットを“記憶”し、完全なトレーニング精度を持つが、ほぼランダムなテスト精度を実現する。本論文は, 理論設定におけるグルーキング現象を考察し, 初期および後期の暗黙バイアスの2分法により誘導可能であることを示す。
論文参考訳（メタデータ） (2023-11-30T18:55:38Z)
Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文参考訳（メタデータ） (2023-04-09T20:36:13Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Practical Convex Formulation of Robust One-hidden-layer Neural Network Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文参考訳（メタデータ） (2021-05-25T22:06:27Z)
Adversarial Training for Gradient Descent: Analysis Through its Continuous-time Approximation [11.389868267342491]
敵対的トレーニングは、ディープニューラルネットワークの最も効果的な防御の1つとして、大いに人気を集めている。本稿では,対戦訓練のミニマックスゲームに対する連続時間近似を確立する。
論文参考訳（メタデータ） (2021-05-17T17:41:56Z)
Two-step penalised logistic regression for multi-omic data with an application to cardiometabolic syndrome [62.997667081978825]
我々は,各層で変数選択を行うマルチオミックロジスティック回帰に対する2段階のアプローチを実装した。私たちのアプローチは、可能な限り多くの関連する予測子を選択することを目標とすべきです。提案手法により,分子レベルでの心筋メタボリックシンドロームの特徴を同定することができる。
論文参考訳（メタデータ） (2020-08-01T10:36:27Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Graph Learning with Loss-Guided Training [16.815638149823744]
sc DeepWalkの先駆的なノード埋め込み手法の新たな領域において、損失誘導型トレーニングについて検討する。データセットの豊富なコレクションに対する実験的な評価は,総合的なトレーニングと総合計算の両面で,ベースライン静的メソッドよりも大幅に加速されたことを示す。
論文参考訳（メタデータ） (2020-05-31T08:03:06Z)
Optimal Regularization Can Mitigate Double Descent [29.414119906479954]
最適正則化を用いて二重発振現象を回避できるかどうかを検討した。我々は、最適に調整された$ell$正規化が、ニューラルネットワークを含むより一般的なモデルの2重降下を可能にすることを実証的に実証した。
論文参考訳（メタデータ） (2020-03-04T05:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。