Fugu-MT 論文翻訳(概要): MBGDT:Robust Mini-Batch Gradient Descent

論文の概要: MBGDT:Robust Mini-Batch Gradient Descent

arxiv url: http://arxiv.org/abs/2206.07139v1
Date: Tue, 14 Jun 2022 19:52:23 GMT
ステータス: 処理完了
システム内更新日: 2022-06-16 12:43:29.377317
Title: MBGDT:Robust Mini-Batch Gradient Descent
Title（参考訳）: mbgdt:ロバストミニバッチ勾配降下
Authors: Hanming Wang, Haozheng Luo, Yue Wang
Abstract要約: 本研究では,ベイズ回帰や勾配降下といった基礎学習者による新たな手法を導入し,モデルの脆弱性を解消する。ミニバッチ勾配降下はより堅牢な収束を可能にするため、ミニバッチ勾配降下法(Mini-Batch Gradient Descent with Trimming (MBGDT))を提案する。提案手法は,提案手法を設計データセットに適用した場合に,最先端性能を示し,複数のベースラインよりも堅牢性が高い。
参考スコア（独自算出の注目度）: 4.141960931064351
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In high dimensions, most machine learning method perform fragile even there are a little outliers. To address this, we hope to introduce a new method with the base learner, such as Bayesian regression or stochastic gradient descent to solve the problem of the vulnerability in the model. Because the mini-batch gradient descent allows for a more robust convergence than the batch gradient descent, we work a method with the mini-batch gradient descent, called Mini-Batch Gradient Descent with Trimming (MBGDT). Our method show state-of-art performance and have greater robustness than several baselines when we apply our method in designed dataset.
Abstract（参考訳）: 高次元では、ほとんどの機械学習手法は、少し外れ値がある場合でも壊れやすい。これに対処するために,モデルにおける脆弱性の問題を解決するために,ベイズ回帰や確率勾配降下といったベース学習器を用いた新しい手法を導入することを期待する。ミニバッチ勾配降下はバッチ勾配降下よりもロバストな収束を可能にするため,ミニバッチ勾配降下をトリミング(mbgdt)と呼ぶ方法を開発した。提案手法は,提案手法を設計データセットに適用した場合,最先端性能を示し,複数のベースラインよりも堅牢性が高い。

関連論文リスト

Discrete error dynamics of mini-batch gradient descent for least squares regression [4.159762735751163]
置換のないサンプリングにおいて,少なくとも正方形に対するミニバッチ勾配勾配のダイナミクスについて検討した。また、連続時間勾配流解析では検出できない離散化効果について検討し、最小バッチ勾配降下がステップサイズ依存解に収束することを示す。
論文参考訳（メタデータ） (2024-06-06T02:26:14Z)
Careful with that Scalpel: Improving Gradient Surgery with an EMA [32.73961859864032]
簡単な和以上の勾配をブレンドすることで、パフォーマンスを向上させる方法を示す。我々は,我々の手法であるBloopが,NLPおよび視覚実験において,より優れた性能を実現することを実証した。
論文参考訳（メタデータ） (2024-02-05T13:37:00Z)
A Negative Result on Gradient Matching for Selective Backprop [8.463693396893731]
ディープニューラルネットワークのトレーニングは、膨大な計算負荷になる。トレーニングプロセスをスピードアップする1つのアプローチはSelective Backpropである。我々は、ミニバッチ全体の平均勾配に最もよく一致する(重み付けされた)サブセットを選択することで、このアプローチを構築します。損失ベースと勾配マッチング戦略の両方が、ランダムなベースラインを一貫して上回りません。
論文参考訳（メタデータ） (2023-12-08T13:03:10Z)
Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
論文参考訳（メタデータ） (2023-06-05T05:21:01Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
論文参考訳（メタデータ） (2021-04-20T02:31:55Z)
Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文参考訳（メタデータ） (2020-12-13T03:41:52Z)
SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。超勾配降下法による勾配長の隠蔽によるパラメータの更新我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
論文参考訳（メタデータ） (2020-12-03T17:09:20Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。我々は、測定値の低減を行う降下ステップを適応的に選択する。これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。