Fugu-MT 論文翻訳(概要): Spectral Regularization: an Inductive Bias for Sequence Modeling

論文の概要: Spectral Regularization: an Inductive Bias for Sequence Modeling

arxiv url: http://arxiv.org/abs/2211.02255v1
Date: Fri, 4 Nov 2022 04:07:05 GMT
ステータス: 処理完了
システム内更新日: 2022-11-07 15:43:25.486097
Title: Spectral Regularization: an Inductive Bias for Sequence Modeling
Title（参考訳）: スペクトル規則化:シーケンスモデリングのための誘導バイアス
Authors: Kaiwen Hou and Guillaume Rabusseau
Abstract要約: 本稿では,一意な帰納バイアスをシーケンスモデルに付加するスペクトル正則化手法を提案する。ハンケル行列と正規文法の基本的な関係から、スペクトル正則化器としてハンケル行列のトレースノルム(英語版)を用いることを提案する。
参考スコア（独自算出の注目度）: 7.365884062005811
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Various forms of regularization in learning tasks strive for different notions of simplicity. This paper presents a spectral regularization technique, which attaches a unique inductive bias to sequence modeling based on an intuitive concept of simplicity defined in the Chomsky hierarchy. From fundamental connections between Hankel matrices and regular grammars, we propose to use the trace norm of the Hankel matrix, the tightest convex relaxation of its rank, as the spectral regularizer. To cope with the fact that the Hankel matrix is bi-infinite, we propose an unbiased stochastic estimator for its trace norm. Ultimately, we demonstrate experimental results on Tomita grammars, which exhibit the potential benefits of spectral regularization and validate the proposed stochastic estimator.
Abstract（参考訳）: 学習タスクにおける様々な正規化形態は、単純さの異なる概念を追求する。本稿では,チョムスキー階層で定義された単純さの直感的な概念に基づいて,一意の帰納バイアスをシーケンスモデリングに付加するスペクトル正則化手法を提案する。ハンケル行列と正規文法の基本的な関係から、ハンケル行列のトレースノルム、そのランクの最も密接な凸緩和をスペクトル正規化器として用いることを提案する。ハンケル行列が双無限であるという事実に対処するために、そのトレースノルムに対する不偏確率推定器を提案する。最終的に,スペクトル正規化の潜在的利点を示し,確率的推定器を検証した,富田文法の実験結果を示す。

関連論文リスト

Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
論文参考訳（メタデータ） (2024-10-17T19:46:51Z)
Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文参考訳（メタデータ） (2024-05-23T12:26:25Z)
Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
論文参考訳（メタデータ） (2024-01-28T08:12:00Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks [8.30897399932868]
鍵となる発見は、ニューラルネットワークの一般化性能が、その重み行列のスペクトルにおける重みの程度と関連していることを示している。重み付き正則化と呼ばれる新しい正則化手法を導入し、正則化により重み付きスペクトルを明示的に促進する。重み付き正規化が一般化性能の点で従来の正規化技術より優れていることを実証的に示す。
論文参考訳（メタデータ） (2023-04-06T07:50:14Z)
Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-11T15:20:54Z)
Third quantization of open quantum systems: new dissipative symmetries and connections to phase-space and Keldysh field theory formulations [77.34726150561087]
3つの方法全てを明示的に接続する方法で第3量子化の手法を再構成する。まず、我々の定式化は、すべての二次ボゾンあるいはフェルミオンリンドブラディアンに存在する基本散逸対称性を明らかにする。ボソンに対して、ウィグナー関数と特徴関数は密度行列の「波動関数」と考えることができる。
論文参考訳（メタデータ） (2023-02-27T18:56:40Z)
Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文参考訳（メタデータ） (2022-12-01T07:01:59Z)
Quantitative deterministic equivalent of sample covariance matrices with a general dependence structure [0.0]
我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
論文参考訳（メタデータ） (2022-11-23T15:50:31Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
The semiring of dichotomies and asymptotic relative submajorization [0.0]
我々は、事前順序付き半環上のストラッセンの定理の一般化を用いて、量子二コトミーと非対称微分可能性の資源理論を研究する。非正規化ジコトミー上で定義される相対的部分行列化の変種は、テンソル積の下で乗法的であり、直和の下で加法的である実数値モノトンによって特徴づけられる。
論文参考訳（メタデータ） (2020-04-22T14:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。