論文の概要: A Minimum Description Length Approach to Regularization in Neural Networks

• arxiv url: http://arxiv.org/abs/2505.13398v1
• Date: Mon, 19 May 2025 17:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.775861
• Title: A Minimum Description Length Approach to Regularization in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける正規化のための最小記述長アプローチ
• Authors: Matan Abudy, Orr Well, Emmanuel Chemla, Roni Katzir, Nur Lan,
• Abstract要約: 正規化手法の選択は形式言語で訓練する上で重要な役割を担っていることを示す。 既存の正規化手法とは異なり、MDLは過剰適合を効果的に防止し、一般化を促進するために適切な帰納バイアスを導入する。
• 参考スコア（独自算出の注目度）: 2.446672595462589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art neural networks can be trained to become remarkable solutions to many problems. But while these architectures can express symbolic, perfect solutions, trained models often arrive at approximations instead. We show that the choice of regularization method plays a crucial role: when trained on formal languages with standard regularization ($L_1$, $L_2$, or none), expressive architectures not only fail to converge to correct solutions but are actively pushed away from perfect initializations. In contrast, applying the Minimum Description Length (MDL) principle to balance model complexity with data fit provides a theoretically grounded regularization method. Using MDL, perfect solutions are selected over approximations, independently of the optimization algorithm. We propose that unlike existing regularization techniques, MDL introduces the appropriate inductive bias to effectively counteract overfitting and promote generalization.
• Abstract（参考訳）: 最先端のニューラルネットワークは、多くの問題に対する顕著な解決策になるように訓練することができる。 しかし、これらのアーキテクチャは象徴的で完璧なソリューションを表現できるが、訓練されたモデルは代わりに近似に達することが多い。 正規化法の選択は、標準正規化を伴う形式言語(L_1$, $L_2$, no)で訓練された場合、表現的アーキテクチャは正しい解に収束するだけでなく、完全な初期化から積極的に遠ざかる。 対照的に、モデル複雑性とデータ適合性のバランスをとるために最小記述長 (MDL) の原理を適用することは、理論的に基礎付けられた正規化法を提供する。 MDLを用いることで、最適化アルゴリズムとは独立に近似よりも完璧な解が選択される。 既存の正規化手法とは異なり、MDLは過剰適合を効果的に防止し、一般化を促進するために適切な帰納バイアスを導入する。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning Using Minimum Description Length [2.867517731896504]
  理論的に正しい解は、実際には一般的に用いられる目的の最適化ではないことを示す。 我々は1つの単純な形式言語に注目し、理論上正しい解が実際には一般的に使用される目的の最適性ではないことを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:25:30Z)
• Reducing the Need for Backpropagation and Discovering Better Optima With Explicit Optimizations of Neural Networks [4.807347156077897]
  本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。 我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。 実験では,明示的な解がほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2023-11-13T17:38:07Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Joint Continuous and Discrete Model Selection via Submodularity [1.332560004325655]
  機械学習のモデル選択問題では、意味のある構造を持つ優れたモデルに対する欲求は、典型的には正規化された最適化問題によって表される。 しかし、多くのシナリオでは、数値的に意味のある構造が離散空間において特定され、難しい非最適化問題を引き起こす。 我々は、ロバスト最適化によって動機づけられた特定の問題クラスに対して、単純な連続的あるいは離散的な制約をいかに扱うかを示す。
  論文  参考訳（メタデータ） (2021-02-17T21:14:47Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。