論文の概要: Learning Decorrelated Representations Efficiently Using Fast Fourier
Transform
- arxiv url: http://arxiv.org/abs/2301.01569v1
- Date: Wed, 4 Jan 2023 12:38:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 15:12:23.534369
- Title: Learning Decorrelated Representations Efficiently Using Fast Fourier
Transform
- Title(参考訳): 高速フーリエ変換を用いた誤り関連表現の学習
- Authors: Yutaro Shigeto, Masashi Shimbo, Yuya Yoshikawa, Akikazu Takeuchi
- Abstract要約: Barlow TwinsとVICRegは自己教師付き表現学習モデルである。
我々は、$O(n dlog d)$ timeで計算できる非相関正則化器の緩和版を提案する。
- 参考スコア(独自算出の注目度): 3.932322649674071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Barlow Twins and VICReg are self-supervised representation learning models
that use regularizers to decorrelate features. Although they work as well as
conventional representation learning models, their training can be
computationally demanding if the dimension of projected representations is
high; as these regularizers are defined in terms of individual elements of a
cross-correlation or covariance matrix, computing the loss for $d$-dimensional
projected representations of $n$ samples takes $O(n d^2)$ time. In this paper,
we propose a relaxed version of decorrelating regularizers that can be computed
in $O(n d\log d)$ time by the fast Fourier transform. We also propose an
inexpensive trick to mitigate the undesirable local minima that develop with
the relaxation. Models learning representations using the proposed regularizers
show comparable accuracy to existing models in downstream tasks, whereas the
training requires less memory and is faster when $d$ is large.
- Abstract(参考訳): Barlow Twins と VICReg は、正規化子を使って特徴をデコレーションする自己教師型表現学習モデルである。
これらは従来の表現学習モデルと同様に機能するが、それらのトレーニングは射影表現の次元が高ければ計算的に要求することができる; これらの正規化器は相互相関行列や共分散行列の個々の要素で定義されるので、$d$の$n$の射影表現の損失は$O(n d^2)$時間を要する。
本稿では、高速フーリエ変換により、$O(n d\log d)$時間で計算できる非相関正規化器の緩和版を提案する。
また,緩和に伴う局所的な極小化を緩和するための安価な手法を提案する。
提案する正規化器を用いたモデル学習表現は、ダウンストリームタスクで既存のモデルと同等の精度を示すが、トレーニングではメモリが少なく、$d$が大きいとより高速になる。
関連論文リスト
- Streaming Factor Trajectory Learning for Temporal Tensor Decomposition [33.18423605559094]
時相テンソル分解のためのストリーム係数軌道学習を提案する。
我々はガウス過程(GP)を用いて因子の軌道をモデル化し、その時間的進化を柔軟に推定する。
合成タスクと実世界のアプリケーションの両方において、SFTLの利点を示してきた。
論文 参考訳(メタデータ) (2023-10-25T21:58:52Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - Speeding up Fourier Neural Operators via Mixed Precision [94.01161800203221]
フーリエニューラル作用素 (FNO) は偏微分方程式 (PDE) 解作用素の代理写像を学習する強力な手法である。
高解像度のデータポイントを必要とする多くの現実世界アプリケーションにとって、トレーニング時間とメモリ使用量は重大なボトルネックとなる。
本研究では,FNOの混合精度トレーニングの数値安定性について検討し,トレーニング時間とメモリ使用量を大幅に削減するトレーニングルーチンを考案した。
論文 参考訳(メタデータ) (2023-07-27T17:42:06Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - RSC: Accelerating Graph Neural Networks Training via Randomized Sparse
Computations [56.59168541623729]
トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。
我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。
本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
論文 参考訳(メタデータ) (2022-10-19T17:25:33Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳(メタデータ) (2022-10-10T19:50:37Z) - Variational Sparse Coding with Learned Thresholding [6.737133300781134]
サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。
まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
論文 参考訳(メタデータ) (2022-05-07T14:49:50Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳(メタデータ) (2021-12-10T06:58:05Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳(メタデータ) (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。