論文の概要: Learning Regularizers: Learning Optimizers that can Regularize

• arxiv url: http://arxiv.org/abs/2510.08968v1
• Date: Fri, 10 Oct 2025 03:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.092172
• Title: Learning Regularizers: Learning Optimizers that can Regularize
• Title（参考訳）: 正規化学習 - 正規化可能な最適化学習
• Authors: Suraj Kumar Sahoo, Narayanan C Krishnan,
• Abstract要約: 学習者(LO)は、目的関数に明示的に適用することなく、従来の正規化手法の効果を内部化するように訓練できることを示す。 正規化されたLOは、テスト精度と一般化の点で、不正規化されたLOよりも一貫して優れている。 以上の結果から,LOは本来は正規化特性を学習し,従来は明示的最適損失正規化の必要性を補足することが示唆された。
• 参考スコア（独自算出の注目度）: 0.959678985347394
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learned Optimizers (LOs), a type of Meta-learning, have gained traction due to their ability to be parameterized and trained for efficient optimization. Traditional gradient-based methods incorporate explicit regularization techniques such as Sharpness-Aware Minimization (SAM), Gradient-norm Aware Minimization (GAM), and Gap-guided Sharpness-Aware Minimization (GSAM) to enhance generalization and convergence. In this work, we explore a fundamental question: \textbf{Can regularizers be learned?} We empirically demonstrate that LOs can be trained to learn and internalize the effects of traditional regularization techniques without explicitly applying them to the objective function. We validate this through extensive experiments on standard benchmarks (including MNIST, FMNIST, CIFAR and Neural Networks such as MLP, MLP-Relu and CNN), comparing LOs trained with and without access to explicit regularizers. Regularized LOs consistently outperform their unregularized counterparts in terms of test accuracy and generalization. Furthermore, we show that LOs retain and transfer these regularization effects to new optimization tasks by inherently seeking minima similar to those targeted by these regularizers. Our results suggest that LOs can inherently learn regularization properties, \textit{challenging the conventional necessity of explicit optimizee loss regularization.
• Abstract（参考訳）: メタラーニングの一種であるLearned Optimizers (LOs)は、パラメータ化され、効率的な最適化のために訓練される能力によって、注目を集めている。 従来の勾配法はシャープネス・アウェア・最小化(SAM)、グラディエント・ノーム・アウェア・最小化(GAM)、ギャップ誘導シャープネス・アウェア・最小化(GSAM)といった明示的な正規化手法を取り入れ、一般化と収束性を高める。 この研究では、基本的な質問を探索する: \textbf{Can regularizers は学習されるか? 目的関数に明示的に適用することなく,従来の正規化手法の効果を学習し,内部化するためにLOを訓練できることを実証的に実証した。 我々は、標準ベンチマーク(MNIST、FMNIST、CIFAR、MLP、MLP-Relu、CNNなど)の広範な実験を通じてこれを検証し、明示的な正規化子へのアクセスなしに訓練されたLOを比較した。 正規化されたLOは、テスト精度と一般化の点で、不正規化されたLOよりも一貫して優れている。 さらに、LOはこれらの正規化効果を、これらの正規化子を対象とするミニマを本質的に求めることにより、新しい最適化タスクに保持し、転送することを示す。 この結果から,LOsは正規化特性を学習し,従来の明示的最適損失正規化の必要性に対処することが示唆された。

関連論文リスト

• SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs [53.77646961962239]
  Supervised Fine-Tuning (SFT) は、大規模言語モデル(LLM)を特殊タスクに適用するための一般的なアプローチである。 より少ない学習率で一般的な性能劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-09-25T05:28:22Z)
• TopoSizing: An LLM-aided Framework of Topology-based Understanding and Sizing for AMS Circuits [7.615431299673158]
  従来のブラックボックス最適化はサンプリング効率を実現するが、回路理解に欠ける。 提案するTopoSizeは、生のネットリストから直接、堅牢な回路理解を行うエンドツーエンドフレームワークである。
  論文  参考訳（メタデータ） (2025-09-17T16:52:46Z)
• Accelerated Learning with Linear Temporal Logic using Differentiable Simulation [21.84092672461171]
  国家の回避やマルコフ決定プロセスのような伝統的な安全保証アプローチは、しばしば軌道要求を不適切に捉えている。 本稿では,特定可能なシミュレータと統合した最初の手法を提案する。 本手法では, 客観的な正当性を損なうことなく, スパース・リワード問題を本質的に緩和し, 相異なる報酬と状態を得るためのソフトラベリングを導入する。
  論文  参考訳（メタデータ） (2025-06-01T20:59:40Z)
• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Regularization and Optimal Multiclass Learning [10.168670899305232]
  この研究は、経験的リスク最小化が失敗する最も単純な設定における正規化の役割を特徴づけることである。 ワンインクルージョングラフ(OIG)を用いて、試行錯誤アルゴリズムの原理に相応しい最適な学習アルゴリズムを示す。
  論文  参考訳（メタデータ） (2023-09-24T16:49:55Z)
• Beyond Losses Reweighting: Empowering Multi-Task Learning via the Generalization Perspective [61.10883077161432]
  マルチタスク学習(MTL)は、共有バックボーンを使用して複数の目的を同時に最適化するために、ディープニューラルネットワークを訓練する。 本稿では,重み摂動を利用して勾配ノルムを規制し,一般化を改善する新しいMTLフレームワークを提案する。 本手法は,タスク性能とモデル全体のロバスト性の観点から,既存の勾配に基づくMTL技術よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-11-24T17:19:30Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。