論文の概要: Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning

• arxiv url: http://arxiv.org/abs/2503.11965v1
• Date: Sat, 15 Mar 2025 02:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:34.885605
• Title: Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning
• Title（参考訳）: グラディエント・ダイスを再考する: 学習改善のための二重重み付け法
• Authors: Xi Wang, Hideaki Shimazaki,
• Abstract要約: 本稿では、各ニューロンの重みベクトルを2つの異なる部分に分解することで、ニューラルネットワークで学習するための新しいフレームワークを提案する。 この分解によって一般化が促進され、特にトレーニングデータが疎かでノイズの多い場合、過度に適合することを示す。
• 参考スコア（独自算出の注目度）: 4.021917564505686
• License:
• Abstract: We introduce a novel framework for learning in neural networks by decomposing each neuron's weight vector into two distinct parts, $W_1$ and $W_2$, thereby modeling contrastive information directly at the neuron level. Traditional gradient descent stores both positive (target) and negative (non-target) feature information in a single weight vector, often obscuring fine-grained distinctions. Our approach, by contrast, maintains separate updates for target and non-target features, ultimately forming a single effective weight $W = W_1 - W_2$ that is more robust to noise and class imbalance. Experimental results on both regression (California Housing, Wine Quality) and classification (MNIST, Fashion-MNIST, CIFAR-10) tasks suggest that this decomposition enhances generalization and resists overfitting, especially when training data are sparse or noisy. Crucially, the inference complexity remains the same as in the standard $WX + \text{bias}$ setup, offering a practical solution for improved learning without additional inference-time overhead.
• Abstract（参考訳）: 本稿では,各ニューロンの重みベクトルを$W_1$と$W_2$の2つの異なる部分に分解することにより,ニューラルネットにおける新しい学習フレームワークを導入する。 伝統的な勾配降下は、正(ターゲット)と負(ターゲットでない)の特徴情報を単一の重みベクトルに格納し、しばしば細かい区別を隠蔽する。 対照的に、我々のアプローチはターゲットと非ターゲットの機能を別々に更新し、最終的にはノイズやクラス不均衡に対してより堅牢な1つの有効重量(W = W_1 - W_2$)を形成する。 回帰(カリフォルニア住宅,ワイン品質)と分類(MNIST, Fashion-MNIST, CIFAR-10)の両タスクの実験結果から, この分解により一般化が促進され, 過度に適合する可能性が示唆された。 重要なことは、推論の複雑さは標準の$WX + \text{bias}$セットアップと同じであり、推論時のオーバーヘッドを追加せずに学習を改善するための実用的なソリューションを提供する。

関連論文リスト

• What to Do When Your Discrete Optimization Is the Size of a Neural Network? [24.546550334179486]
  ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
  論文  参考訳（メタデータ） (2024-02-15T21:57:43Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
  本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。 また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。 提案手法により,最大60.6ドルのmAPを初めて達成できる。
  論文  参考訳（メタデータ） (2022-05-16T02:47:41Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。