論文の概要: Cauchy-Schwarz Regularizers

• arxiv url: http://arxiv.org/abs/2503.01639v1
• Date: Mon, 03 Mar 2025 15:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:14:14.192893
• Title: Cauchy-Schwarz Regularizers
• Title（参考訳）: Cauchy-Schwarz正則化器
• Authors: Sueda Taner, Ziyi Wang, Christoph Studer,
• Abstract要約: コーシー=シュワルツ正則化器は最適化問題の解ベクトルにおいて幅広い性質を誘導する。 CS正則化器は単純で微分可能であり、突発的な定常点を含まない。 ニューラルネットワークにおける線形方程式と重み量子化の未決定系の解法について述べる。
• 参考スコア（独自算出の注目度）: 9.823509550631261
• License:
• Abstract: We introduce a novel class of regularization functions, called Cauchy-Schwarz (CS) regularizers, which can be designed to induce a wide range of properties in solution vectors of optimization problems. To demonstrate the versatility of CS regularizers, we derive regularization functions that promote discrete-valued vectors, eigenvectors of a given matrix, and orthogonal matrices. The resulting CS regularizers are simple, differentiable, and can be free of spurious stationary points, making them suitable for gradient-based solvers and large-scale optimization problems. In addition, CS regularizers automatically adapt to the appropriate scale, which is, for example, beneficial when discretizing the weights of neural networks. To demonstrate the efficacy of CS regularizers, we provide results for solving underdetermined systems of linear equations and weight quantization in neural networks. Furthermore, we discuss specializations, variations, and generalizations, which lead to an even broader class of new and possibly more powerful regularizers.
• Abstract（参考訳）: 我々はコーシー=シュワルツ正則化 (CS) と呼ばれる新しい正規化関数のクラスを導入し、最適化問題の解ベクトルにおいて幅広い性質を誘導できるように設計されている。 CS正則化器の汎用性を示すために、離散値ベクトル、与えられた行列の固有ベクトル、直交行列を促進する正規化関数を導出する。 結果として得られるCS正則化器は単純で微分可能であり、突発的な定常点を含まないため、勾配に基づく解法や大規模最適化問題に適している。 さらに、CS正則化器は、例えばニューラルネットワークの重みを識別する際に有益である適切なスケールに自動的に適応する。 CS正則化器の有効性を示すため,ニューラルネットワークにおける線形方程式と重み量子化の未決定系の解法を提案する。 さらに、特殊化、変分、一般化について論じ、より広範な新しい、おそらくはより強力な正規化器のクラスに繋がる。

関連論文リスト

• ReFill: Reinforcement Learning for Fill-In Minimization [3.9134031118910264]
  補充の最小化はNPハードであり、既存の最小化(Minimum Degree)やNested Dissection(Nested Dissection)は適応性に制限を与える。 我々は,グラフニューラルネットワーク(GNN)によって強化された強化学習フレームワークであるtextitReFillを導入し,補充のための適応順序付け戦略を学習する。
  論文  参考訳（メタデータ） (2025-01-27T15:20:41Z)
• Exact Gauss-Newton Optimization for Training Deep Neural Networks [0.0]
  一般化されたガウスニュートン(GN)ヘッセン近似と低ランク線形代数を組み合わせた2階最適化アルゴリズムEGNを提案する。 線形探索,適応正則化,運動量などの改良をEGNにシームレスに追加して,アルゴリズムをさらに高速化する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T10:21:05Z)
• Cons-training tensor networks [2.8834278113855896]
  テンソルネットワークと呼ばれる新しいファミリーを導入する。 textitconstrained matrix product state (MPS) これらのネットワークは、不等式を含むちょうど任意の離散線型制約をスパースブロック構造に含んでいる。 これらのネットワークは、特に、可能空間上で厳密にサポートされた分散をモデル化するために調整されている。
  論文  参考訳（メタデータ） (2024-05-15T00:13:18Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。