論文の概要: Understanding Learning Invariance in Deep Linear Networks

• arxiv url: http://arxiv.org/abs/2506.13714v1
• Date: Mon, 16 Jun 2025 17:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.099628
• Title: Understanding Learning Invariance in Deep Linear Networks
• Title（参考訳）: 深い線形ネットワークにおける学習不変性を理解する
• Authors: Hao Duan, Guido Montúfar,
• Abstract要約: 等変および不変の機械学習モデルは、サンプル効率を改善するためにデータの対称性と構造パターンを利用する。 本稿では,データ拡張,正規化,ハードワイリングという,不変性を実現するための3つのアプローチに関する理論的比較を行う。 ハードワイアリングとデータ拡張における最適化問題の要点は,サドルと大域的最適化のみから構成される,同一であることを示す。
• 参考スコア（独自算出の注目度）: 15.335716956682203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant and invariant machine learning models exploit symmetries and structural patterns in data to improve sample efficiency. While empirical studies suggest that data-driven methods such as regularization and data augmentation can perform comparably to explicitly invariant models, theoretical insights remain scarce. In this paper, we provide a theoretical comparison of three approaches for achieving invariance: data augmentation, regularization, and hard-wiring. We focus on mean squared error regression with deep linear networks, which parametrize rank-bounded linear maps and can be hard-wired to be invariant to specific group actions. We show that the critical points of the optimization problems for hard-wiring and data augmentation are identical, consisting solely of saddles and the global optimum. By contrast, regularization introduces additional critical points, though they remain saddles except for the global optimum. Moreover, we demonstrate that the regularization path is continuous and converges to the hard-wired solution.
• Abstract（参考訳）: 等変および不変の機械学習モデルは、サンプル効率を改善するためにデータの対称性と構造パターンを利用する。 実験的な研究は、正規化やデータ拡張のようなデータ駆動の手法が明示的に不変なモデルと相容れないことを示唆するが、理論的な洞察は乏しいままである。 本稿では,データ拡張,正規化,ハードワイリングという,不変性を実現するための3つのアプローチに関する理論的比較を行う。 我々は、ランク有界線型写像をパラメータ化し、特定のグループ動作に不変なハードワイヤ化が可能なディープ線形ネットワークを用いた平均2乗誤差回帰に着目した。 ハードワイアリングとデータ拡張における最適化問題の要点は,サドルと大域的最適化のみからなる,同一であることを示す。 対照的に、正規化は追加の臨界点を導入するが、それらは大域的最適性を除いてサドルのままである。 さらに、正規化経路は連続であり、ハードワイヤ溶液に収束することを示した。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
  ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。 極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。 他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。 中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
  論文  参考訳（メタデータ） (2023-06-29T06:31:27Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting [24.363954435050264]
  力学系における対称性の爆発は、ディープラーニングの一般化を改善する強力な方法である。 データ拡張と同変ネットワークは、学習に対称性を注入する2つの主要なアプローチである。 データ拡張と同変ネットワークの一般化境界を導出し、統一されたフレームワークにおける学習に対するそれらの効果を特徴づける。
  論文  参考訳（メタデータ） (2022-06-19T17:00:12Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization [55.278153228758434]
  実世界のデータセットはヘテロスケダティックで不均衡である。 ヘテロスケダスティック性と不均衡を同時に扱うことは、未発見である。 本稿ではヘテロスケダスティックデータセットに対するデータ依存正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:09:50Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。